Страница 1 из 31

[Приложение] ChromeGateMJD

Добавлено: Вт май 24, 2016 4:00 pm
sergejey
Меня удачно "навели" на открытую часть проекта голосового ассистента Дуся и я там позаимствовал кое-какой код для применения его в нашем проекте (за что им Большое Спасибо!).

Итак, получилось расширение для использования функции распознавания речи через браузер Google Chrome

Расширение для установки: https://chrome.google.com/webstore/deta ... bfpjgngipi

Окно настроек выглядит вот так:
Изображение

В нём указывается ключевое слово и адрес сервера. Ключевое слово используется для того, чтобы отправлять на сервер не всю распознанную речь (а распознавание включается с запуском браузера), а только предложения, содержащие ключевое слово. Адрес сервера -- это адрес сервера MajorDoMo (если это тот же компьютер, где запущен браузер, то пойдёт localhost, для других компьютеров в сети надо указывать IP-адрес сервера). Собственно всё, браузер превращается в "уши" системы, постоянно слушающие команды от пользователя :)

Кроме адреса можно указать системное имя терминала и настройки синтезатора -- в таком случае, расширение будет озвучивать события от сервера, которые обращены к данному терминалу (например, если используется sayReply для ответа) или же обращённые ко всем терминалам (если используется say).

Исходники: https://github.com/uzyovoys/aggregate/t ... chromegate

P.S. В будущем, возможно, добавится функционал синтеза речи через это же расширение (если это востребовано).

Re: ChromeGateMJD

Добавлено: Вт май 24, 2016 5:27 pm
Ivan
Классная штука.
Вопросы:
1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)

Re: ChromeGateMJD

Добавлено: Ср май 25, 2016 10:49 am
nick7zmail
Хм...звучит прикольно...над опробовать.
Ivan писал(а): 1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)
1) Распознование речи на стороне клиента 100%. Скорее всего только при доступе в инет.
2) Индикатор - хорошая идея. Можно еще кнопку для включения/выключения перманентного распознования. А лучше и то и другое объеденить))
3) В маркет хрома надо запихивать. А там, как я думаю, система такая же как с плэй маркетом - денюжку оплатить над.
4) В андроидовском хроме, на сколько я помню, нет дополнений. А зачем? На андроиде есть автовойс, дуся и подобные проги с функцией постоянного распознования. Но это садит батарею. Чем больше приложений слушают-обрабатывают, тем больше жрется батарея...а у андроидов она и так довольно быстро садится. Лично у меня плагин автовойса подключен к GoogleNow. И команды передаются например так: "Окей гугл - Алиса включи свет в зале" - и "Алиса включи свет в зале" передаётся в чат МД.

PS: Подобные функции кстати есть в MajorDroid. Его ставите на терминалы, и в нем уже открываете нужную сцену. А там уже и распознавание, и активация словом, и отправка в MD настроены. На крайний случай в том же MIT редакторе можно накидать приложение с распознавалкой.

Re: ChromeGateMJD

Добавлено: Ср май 25, 2016 10:51 am
Ivan
4 для терминалов

Re: ChromeGateMJD

Добавлено: Ср май 25, 2016 12:51 pm
Amarok
Люто плюсую пункт №4

Re: ChromeGateMJD

Добавлено: Ср май 25, 2016 2:25 pm
sergejey
Ivan писал(а):Классная штука.
Вопросы:
1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)
1. Не могу точно сказать -- это внутренний механизм хрома. За распознавание отвечает облако и их API, но, как мне кажется, браузер кэширует какие-то данные, чтобы распознавание проходило частично на стороне клиента. Будет ли работать распознавание без интернета -- сомневаюсь.

2. Нужно ) Я подумаю как лучше это сделать.

3. Обязательно, если пропустят )

4. Боюсь, что нет. Я посмотрю, может можно в MajorDroid-е сделать режим постоянного распознавания по такому же алгоритму.

Re: ChromeGateMJD

Добавлено: Ср май 25, 2016 10:08 pm
nick7zmail
Ещё одна идейка - фоновый режим. У PushBullet такой есть. Поставить галочку, и модуль работает даже после закрытия хрома. Удобно было бы.

Re: ChromeGateMJD

Добавлено: Чт май 26, 2016 2:17 am
m-malva
а по какому принципу устанавливается пользователь для ChromeGateMJD ?
у меня "пользователь по умолчанию для системы" один (Пользователь), а прилетает из ChromeGateMJD от другого пользователя (Светлана).

Re: ChromeGateMJD

Добавлено: Чт май 26, 2016 9:14 am
sergejey
m-malva писал(а):а по какому принципу устанавливается пользователь для ChromeGateMJD ?
у меня "пользователь по умолчанию для системы" один (Пользователь), а прилетает из ChromeGateMJD от другого пользователя (Светлана).
В самом расширении пользователь не прописан, идёт запрос на /command.php?qry=<команда>
По идее, если хром не использует сессию пользователя, то система автоматически берёт первого попавшегося пользователя из базы данных.

Re: ChromeGateMJD

Добавлено: Вс май 29, 2016 6:12 pm
Otto
С короткими именами очень туго работает, к примеру дал имя Ева, кое какие команды только понимает с 3 раза, а с длинными именами на много лучше распознаёт ключевые слова. Моё мнение - это оболденно! Спасибище Сергею за такую полезную вещь, буду ждать новых фишек и доработок!)