Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 12:29 am

Тем кто хочет попробовать на Raspberry Pi 3 по русски с видео и ссылкой на оригинал.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Чт окт 19, 2017 6:56 am

lanket писал(а):Как это? У меня в русской речи пытается распознать английские фразы.
это да, погорячился я.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 8:33 am

в описании sdk есть интересный пункт :
[quote=] Send multiple outgoing ConverseRequest messages with audio data from the spoken query in the audio_in field.[/quote]
Как я понял в получаемом массиве поле text это результат распознанной команды, а audio_in это аудиозапись команды.

Если это так то останется только отправить аудио на обычное распознование гуглу или яндексу.

Проверить смогу только вечером.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 8:37 am

К слову и инфа конспираторам. Кстати гугля хранит все аудиозаписи команд,можно послушать любые попытки распознования, в том числе и с телефона, и просто надиктованные тексты.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 9:00 am

Плохой из меня англичанин. Всё наоборот.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 9:11 am

Вот оно видимо то что надо


ConverseResponse

The top-level message received by the client. A series of one or more ConverseResponse messages are streamed back to the client.
Fields
Union field converse_response. Exactly one of these fields will be populated in each ConverseResponse. converse_response can be only one of the following:

......


audio_out


AudioOut

Output-only The audio containing the assistant's response to the query.


Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Чт окт 19, 2017 9:23 am

Кстати у domoticz вроде как есть нативный плагин гугл асистента. Имхо самый нормальный вариант. Гугл все api предоставляет. Надо чтобы наши умы-программисты к этому делу подключились.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 1:10 pm

directman66 писал(а):Кстати у domoticz вроде как есть нативный плагин гугл асистента. Имхо самый нормальный вариант. Гугл все api предоставляет. Надо чтобы наши умы-программисты к этому делу подключились.
Как я понял механизм такой.

В Google actions создаётся приложение, которое в случае 2го уровня ключевого слова отправляет в api.ai.

Api.ai инициализирует дальнейший диалог в случае его необходимости, уточнении например обязательных параметров.

И результат отправляет, походу дела, в приложение зарегистрированного в экшене. Как например в viber, который уже давно зарегистрирован и есть в списке приложений api.ai

Соответственно Majordomo должен уметь принимать вызовы извне, явно не ожидаемые им в данный момент. Получается либо через connect либо хз как там организованно надо изучать. Модуль нужен будет для majordomo.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 1:21 pm

Минус данного решения что пока нет русского, как плюс в будущем помимо общения с Алисой по фамилии Мажордомо, из за тындекса боюсь ввести в заблуждение, получаешь фишки гуглоассистента. И лёгкость в настройке и интеграции.

На данный момент актуально отобрать у ассистента аудиозапись и распознать обычными апи распознования Гугла или тындекса, и отправлять в МД уже русский распознанный текст, а уже МД обработает либо шаблонами поведения либо через api.ai. Кстати если через Google actions, то может тоже можно отобрать у ассистента аудиозапись. Надо проверять и экспериментировать.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Чт окт 19, 2017 1:22 pm

А у domoticz надо скачать и посмотреть что там за код общения с ассистентом, не думаю что он будет громозким.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Ответить