Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 2:57 pm

directman66 писал(а):Скрин
СпойлерПоказать
Изображение
Отправлено с моего Redmi Note 3 через Tapatalk

2lanket, с вашими ключами заработал асистент. Что в итоге мне нужно добавить в акаунт понять не могу.
Честное слово сам не могу понять. В консоли вижу были 7 запросов.

Хорошо хоть с моим ключом работает. Есть надежда что и с Вашим заработает. Надо только понять почему.
У меня вроде как с ключом особо не было проблем. В какойто момент как помню что то потупил я, но не особо.
Даже не знаю. На гитхабе можно вопросы позадавать, правда опять на английском. Мне гдето через неделю ответ дали про Русский язык.

Ну по крайней мере понятно что проблема в Вашем ключе/аккаунте. А не в имидже или сменой железа/ip ...

В ошибке он пишет ссылку куда смотреть, и ссылка в консоль апи облака. Надо туда копать.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 2:59 pm

directman66 писал(а): ...
зыж: заработало, в тексе ошибки ссылка на включение googla assist api, включение которого помогло.
Поздравляю. Наконец то.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Ср окт 18, 2017 3:08 pm

lanket писал(а): Поздравляю. Наконец то.
а есть инструкция по настройке Action, API.AI и тд. Дальше то че делать?
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 3:11 pm

directman66 писал(а):...
зыж: заработало, в тексе ошибки ссылка на включение googla assist api, включение которого помогло.
У Вас башка получше в программировании я так понимаю. Есть мысль одна:
ivannag писал(а):
lanket писал(а):В связи с отсутствием поддержки русского языка пропал интерес.
Ну я так понимаю, с самим ассистентом по-русски пока что не поболтаешь... но разпознавание после "ок гугл" работает, так же как и теоретическая отправка распознанного русского результата в МД? Ведь получается что пока-что апельсинку можно использовать как голосовой терминал для Алисы и плеер для музыки, а в дальнейшем просто появятся функции самого русского ассистента. или я ошибаюсь?
Там есть event "EventType.ON_CONVERSATION_TURN_STARTED" он срабатывает когда произнесено ключевое слово. Если потом асситенту как то в питоне приказать прекратить слушать дальше эфир. И самим начать записывать эфир и по окончанию отправлять на распознование. Или каким то образом брать запись эфира после ключевого слова у ассистента. И этот wav/mp3 или что там отправлять на распознование в яндекс или томуже гуглу в обычный апи распознования.

То уже распознанный текст можно отправить в МД, что собственно уже реализованно.

Вот и получиться девайс занедорого который реагирует на ключевое слово и отправляет далбнейшее в МД. Собственно что и хотелось изначально. Ну и как терминал можно для озвучки сообщений/фоновой музыки .... там и GPIO есть кому надо будет ...
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 3:20 pm

directman66 писал(а):
lanket писал(а): Поздравляю. Наконец то.
а есть инструкция по настройке Action, API.AI и тд. Дальше то че делать?
Инструкций нет. Остальное както само пошло.


Там 2 скрипта на питоне, которые я мучал.
1й Ассистент. Как я понял это тот же гуглохом. У гугла есть Actions, ссылку давал ранее, там можно сказать что делать с результатом Ассистента. Там жэе и приложение можно составить, как я понял это для раздачи в массы чтобы каждый не парился с ключами.

2й скрипт это hotword это болванка для своих интернет вещей. Собственно в этом скрипте я и парился. Он отправляет распознанное в MajorDomo get запросом в чат. Соответственно MD уже обрабатывает по своим настройкам либо шаблоны поведения, либо через API.AI

По поводу Google Actions до конца не разобрался в гугловсих дебрях.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 3:28 pm

Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 3:40 pm

Да в Google Actions можно создать приложение которое будет реагировать да второй уровень ключевого слова после OK Google и отправлять будет в API.AI , кстати они переименовались и домен поменяли, а там уже логика обработки фраз предназначенных для вашего девайса которое для широких масс.

Как я понял эти Actions для умных "игрушек" с которыми можно поболтать и что бы они по мимо асситента выполняли какието отдельные задачи которые вы пропишите в логике API.AI . То бишь это больше для массового продукта. Например для умной колонки под MajorDomo.

Как я там намстраивал. Говоришь "Ok Google Алиса послушай" , дальнейшее сказанное уйдет в обработку API.AI. Если сказать только "OK Google" то обрабатывать будет логика асистента.

Я так понял эти Actions. Но могу ошибаться.

А для личных нужд подходит hotword.

Напомню когото одного из них можно запустить в качестве сервиса.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Ср окт 18, 2017 4:17 pm

пытаюсь победить автозагрузку, но пока безуспешно )

Код: Выделить всё

[Unit]
Description=google assistant service
After=network.target ntpdate.service
 
[Service]
Type = idle
Environment=VIRTUAL_ENV=/home/pi/env/
Environment=PATH=/home/pi/env/bin:/usr/local/sbin:/usr/local
ExecStart=/home/pi/env/bin/google-assistant-demo
WorkingDirectory=/home/pi
StandardOutput=inherit
StandardError=inherit
Restart=always
User=pi
 
[Install]
WantedBy=multi-user.target
Alias=google-assistant.service
не запускает почему-то асистента. Пути изменил вроде на свои. Из домашней папки под юзером pi google-assistant-demo стартует нормально. Но сервисом не получается. И из рута не стартует.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Ср окт 18, 2017 4:26 pm

directman66 писал(а):пытаюсь победить автозагрузку, но пока безуспешно )

не запускает почему-то асистента. Пути изменил вроде на свои. Из домашней папки под юзером pi google-assistant-demo стартует нормально. Но сервисом не получается. И из рута не стартует.
Прям полтергейст какой то. У меня работало.

В демонах линуха я не силен. Это лучше подскажет кто нибудь кто с линухом на ты.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Ср окт 18, 2017 4:32 pm

lanket писал(а):
Прям полтергейст какой то. У меня работало.
победил копированием в пути как в инструкции )
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Ответить