[Приложение] Sound Direct Manager

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

Аватара пользователя
Amarok
Сообщения: 1425
Зарегистрирован: Пт дек 14, 2012 12:24 pm
Откуда: Россия, Нижняя Тура
Благодарил (а): 460 раз
Поблагодарили: 126 раз
Контактная информация:

Видение о будущем Sound Direct Manager

Сообщение Amarok » Пн фев 20, 2017 10:39 am

Видение о будущем Sound Direct Manager
Всем хорош Sound Direct Manager, но не хватает пары вещей:
  • Самое главное - распознавание речи БЕЗ интернет. На форуме были темы про оффлайн распознавание с помощью PocketSphinx, очень хочется удобной интеграции с Sound Direct Manager (с мастером настройки).
  • Установщик и мастером настройки. Не все могут поправить ini-файл через блокнот, или установить прогу в автозапуск.
  • Хотелось-бы более компактное окно. То есть выбор дикторов, настройки входа-выхода лучше вынести именно в окно настроек, а в основном окне оставить лишь журнал
Алиска живёт на Ubuntu Server 14.04.3 LTS
connect, группа в Telegram, Яндекс.Деньги для благодарностей за помощь: 41001355945165
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Пн фев 20, 2017 10:56 am

Распознавание без Интернет конечно же возможно. Если получится подключиться к сторонней программе, которая это делает, то в SDM будет выбор способа распознавания. SDM будет отправлять файл не в гугл, а программе (девайсу), работающему где то рядом.

Установщик: Да, похоже придется этим заняться в каком то пока ещё туманном будущем.

ini файл: Что то править там придется только в исключительных случаях для тонкой настройки, и включения доп возможностей.

Окно ещё в процессе разработки, и будет перестраиваться под новые возможности. Но по задумке, окно SDM вообще не должно представлять интереса. Всё общение с SDM должно проходить в виде вопрос-ответ. К этому постепенно и движемся.

Кстати, модуль для связи SDM с Алисой готов и протестирован. Только инструкция ещё в процессе написания. Но уже скоро появится в первом топике.
Жесткий хук на функцию SAY заменен подпиской на её событие.
Удобная таблица для связи каналов звуковой карты с именем комнаты. Знание php при этом не требуется.
Добавлена работа с фоновой музыкой. Пока что только основные функции, но уже есть концепт по разработке многоканального плеера.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
Аватара пользователя
Amarok
Сообщения: 1425
Зарегистрирован: Пт дек 14, 2012 12:24 pm
Откуда: Россия, Нижняя Тура
Благодарил (а): 460 раз
Поблагодарили: 126 раз
Контактная информация:

Re: Sound Direct Manager

Сообщение Amarok » Пн фев 20, 2017 11:17 am

Bagir писал(а):Распознавание без Интернет конечно же возможно. Если получится подключиться к сторонней программе, которая это делает, то в SDM будет выбор способа распознавания. SDM будет отправлять файл не в гугл, а программе (девайсу), работающему где то рядом.
Мне кажется, что эта тема поможет в создании оффлайн распознавания. Может посмотришь?
Bagir писал(а):Окно ещё в процессе разработки, и будет перестраиваться под новые возможности. Но по задумке, окно SDM вообще не должно представлять интереса. Всё общение с SDM должно проходить в виде вопрос-ответ. К этому постепенно и движемся.
Думаю, окно с логами должно быть. Удобно ведь.
Bagir писал(а):Кстати, модуль для связи SDM с Алисой готов и протестирован. Только инструкция ещё в процессе написания. Но уже скоро появится в первом топике.
Скорее бы)
Алиска живёт на Ubuntu Server 14.04.3 LTS
connect, группа в Telegram, Яндекс.Деньги для благодарностей за помощь: 41001355945165
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Чт фев 23, 2017 1:21 am

Залил в первый пост новую SDM и модуль для связи с Алисой. Так же отредактировал и весь текст описания в первом посте. Версии тестовые, но у меня работает в боевых условиях.
Следует обратить внимание, что некоторые команды изменились. Пришлось многое переделать в работе с громкостью.
В скором времени будут ещё обновления. Радио, многоканальный плеер для сцены, и расширенные функции работы с командами для фоновой музыки, которые можно будет использовать в коде ваших методов и сценариев.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
vazv71
Сообщения: 22
Зарегистрирован: Чт июн 19, 2014 12:22 pm
Благодарил (а): 6 раз
Поблагодарили: 5 раз

Re: Sound Direct Manager

Сообщение vazv71 » Сб фев 25, 2017 11:25 pm

Bagir писал(а):Залил в первый пост новую SDM и модуль для связи с Алисой. Так же отредактировал и весь текст описания в первом посте. Версии тестовые, но у меня работает в боевых условиях.
Следует обратить внимание, что некоторые команды изменились. Пришлось многое переделать в работе с громкостью.
В скором времени будут ещё обновления. Радио, многоканальный плеер для сцены, и расширенные функции работы с командами для фоновой музыки, которые можно будет использовать в коде ваших методов и сценариев.
Ухх круто, год начинается с ништяков! :)
Читал выше - я считаю что не стоит заморачиваться с распознаванием речи без инета, т к это убьет много времени автора, и все равно мы не догоним гигантов в этом плане. Лучше и качественнее использовать их, т к распознавание у гугла например выше всяких похвал. Ьуь главное техническую часть с микрофонами решить. А без инета сейчас вообще ничего не работает, он есть в любом доме. А вот функционал sdm расширенный - это то, что нужно, и над чем стоит работать.
Это сугубо моё имхо, если что, господа...
Кстати, предлагаю всем юзерам sdm скинуться автору на коньячок-с/пивас за труды праведные :)
За это сообщение автора vazv71 поблагодарил:
ILGAS (Вс фев 26, 2017 8:34 am)
Рейтинг: 1.16%
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Вс фев 26, 2017 9:33 am

Самая большая награда для автора, это знать, что его труды кому то пригодились. Я немного поспешил с версией 2.0 Уже поправил некоторые моменты. Сегодня будет обновление программы и модуля. А так же примеры кода для работы с фоновой музыкой.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
erandess
Сообщения: 50
Зарегистрирован: Пт окт 03, 2014 9:04 am
Благодарил (а): 2 раза
Поблагодарили: 14 раз

Re: Sound Direct Manager

Сообщение erandess » Вс фев 26, 2017 10:27 am

А реально ли средствами SDM реализовать некую адаптивную громкость? Например: перед произношением фразы анализируем уровень фонового шума в комнате через микрофон, и соответственно подстраиваем громкость сообщения.
А то бывает выключил телевизор, расслабился подремать - а Алиса в тишине как рявкнет!!!
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Вс фев 26, 2017 12:45 pm

Идея интересная, и даже не сложна в реализации. Сейчас это используется для определения тишины при записи звука. Можно будет попробовать сделать. В выложенной версии есть ошибка при отчете серверу о событии завершения воспроизведения музыки. CallBack функции очень капризные :) Переделал по другому. Еще музыка не приглушалась во время общих сообщений. Тоже исправлено. Ближе к ночи выложу.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Вс фев 26, 2017 11:42 pm

Обновил модуль и программу. По неясным мне причинам, поссорились части кода приёма и отправки. Переделал всё на Microsoft Internet Control. На первый взгляд получилось даже интереснее. На сколько стабильно покажет время.
Изменилось имя функции в хуке на
After PlaySound (code):

Код: Выделить всё

include_once(DIR_MODULES.'sdm/sdm.class.php'); $dm=new sdm(); $dm->setTask($filename); 
setTask теперь ставит любые задачи и по части команд и фоновую музыку тоже.
Подробное описание работы с фоновой музыкой завтра.
А кому хочется скорее попробовать, то работает примерно так:

Код: Выделить всё

include_once(DIR_MODULES.'sdm/sdm.class.php');
$dm=new sdm();
$sh = $dm->setTask('-music:play D:\Server\apps\SDM\song.mp3');
echo $sh;
 
-music:play указывает что это задача фоновой музыки а не звуковое уведомление.
В ответ получим streamHandle:-2147483646. Хендл надо запомнить. С помощью него потом можно управлять задачей примерно так:

Код: Выделить всё

include_once(DIR_MODULES.'sdm/sdm.class.php'); $dm=new sdm(); $dm->setTask('-music:stop -streamhandle:-2147483640');
include_once(DIR_MODULES.'sdm/sdm.class.php'); $dm=new sdm(); $dm->setTask('-music:pause -streamhandle:-2147482598');
include_once(DIR_MODULES.'sdm/sdm.class.php'); $dm=new sdm(); $dm->setTask('-music:play -streamhandle:-2147482598');
 
При завершении проигрывания трека будет вызван сценарий, который указан в ini файле. Посмотреть что там приходит можно так:
Создадим новый сценарий sdmReceiver

Код: Выделить всё

print_r( $_GET ) ) ;
debmes('sdmReceiver '.implode(' ', $_GET ) );
По завершению проигрывания этот сценарий будет вызван и ему будет передан streamhandle. Исходя из этого мы можем выдать следующую задачу на воспроизведение. Подробное описание тоже позже в примерах. Читайте в первом и втором посте.
Уровни громкости для сообщенийПоказать
Уровни тут каждый выбирает сам как хочет. Я лишь могу предложить свой выбор и немного рассказать об настройках модуля.
-1 Написать только в чате. Не говорить вообще.
0 Обычные. Ночью громкость может быть уменьшена, а сообщения переадресованы на ночной канал.
1 Тоже обычные сообщения. Но они не будут переадресованы ночью. Звучат во всех каналах.
2 Тоже самое что и 1, но тут мы можем, настроить отправку и на мобильный телефон.
3 Важные. Громкость их будет установлена 100%
4 Критические. Можно добавить код включения крикуна на несколько секунд.
Настройки модуля позволяют вам самим указать уровень для всех типов. А значит можно как сократить, так и расширить этот список.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
Аватара пользователя
Bagir
Сообщения: 1613
Зарегистрирован: Вт сен 17, 2013 6:46 pm
Откуда: Ярославская область город Углич
Благодарил (а): 212 раз
Поблагодарили: 374 раза

Re: Sound Direct Manager

Сообщение Bagir » Пн фев 27, 2017 10:29 pm

Перезалил архив sdm. Теперь команды громкости работают и на уже проигрываемую музыку. Например мы хотим изменить громкость второго канала для всех играющих и будущих сообщений, то можно сделать так:
-volumelevel:60 -outputchannel:2
Если не указывать параметр outputchannel, то изменения будут для общих сообщений слышимых на всех каналах. В скором времени будет возможность находить канал по streamHandle.
Windows 10, HTTP, MegaD, Z-Wave, 1-Wire, CONNECT
Ответить