Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение skysilver » Пн сен 11, 2017 1:49 pm

Имхо главный недостаток домашних поделок - это плохой аналоговый тракт. В тех же амазон эхо стоит матрица микрофонов, направленных по секторам, и сигналы с них обрабатываются специализированной микросхемой цифровой обработки сигналов. И только после этого очищенная, усиленная, без шумов шумов и с хорошим соотношением сигнал/шум запись отдается в облако на распознавание. То что русского пока нет, это дело десятое. А вот захват и запись звука это та причина, по которой до сих голосовое управление не стало основным. Можно побаловаться с usb-микрофоном, но в массы это не уйдёт, т.к. в реальных условиях эксплуатации (не на стенде) будут постоянные проблемы.
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пн сен 11, 2017 2:07 pm

Пока искал как по русски заставить понимать, нашёл много интересного.
Возможности Google Assistant SDK:
Можно связать с Google Actions, API.AI, ifttt.com а уже после них можно дергать практически любой другой онлайн сервис.

Ну или после распознавания можно в питоне делать любые действия, в том числе и отправка текста команды в MajorDomo.

Правда так никто и не подсказал как переменную event в скрипте превратить в закодированный (избавленный от русских букв и пробелов) текст команды для отправки в majorDomo.

Кстати если у кого есть Orange Pi Zero и лень или не получилось самому установить этот SDK могу снять имидж и выложить где все это работет.

Еще один вопрос меня гложет и не дает покоя. Я не пойму такой вещи: не уж то Google хочет чтобы те ребята которые хотят воспользоваться этим SDK должны пройти этот не лёгкий путь регистраций и настройки всяких сервисов в дебрях Google development ради того чтобы придать голосое управление каким нибудь чайником.

Так же не пойму еще такой вещи. когда заработает все кто захочет у себя дома замутить такоеже придется, залинть наш образ где все настроено. А потом что, регестрироваться опять в Клауде, получать ключи, делать в консоле какието операции что бы заработало. Ведь гуглохом же для работы думаю не требует таких танцев.

Либо по другому как думает гугля чтобы Google Assistant SDK пускали в массы?
Я имею ввиду:
Когда мы реализуем это, в идеале что бы чел взял апельсинку, залил образ и пользовался в удовольствие. Если ему отдавать с привязкой к аккаунту Гугл Клауду то проблема с ограничениями : 500 в день (видимо с аккаунта) и 100 в секунду от одного пользователя. Например в эту субботу гугл откудато насчитал 51 запрос, не думаю что я 51 раз звал гугл.
СпойлерПоказать
2017-09-11_13-59-01.png
откуда 51 запрос?
2017-09-11_13-59-01.png (26.72 КБ) 6032 просмотра
Разве ГуглоХоум надо тоже проходить такой путь регистрации и настроек, или такие вещи должны работать купил и радуйся с минимальным набором настроек.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Пн сен 11, 2017 2:21 pm

привязал карту к акаунту, авторизовали 1$ и прислали следующее

Код: Выделить всё

В платежном аккаунте 009C7E-9972EB-BCFBA7, связанном с проектом Google Cloud Platform/API pizero-179609, обнаружены неполадки.

Проект был заблокирован, а владельцу платежного аккаунта отправлено оповещение.

Если вы являетесь владельцем этого платежного аккаунта, подтвердите указанную в нем информацию. Сделать это можно здесь.
отправил вроде запрашиваему информацию, но чето гемора тут очень много. lanket, может отправишь в личку ключи доступа для настройки, попробую поиграться.

зыж настраиваю на малине на базе образа magpi по инструкции https://aiyprojects.withgoogle.com/voic ... istant-api
тут вроде требуется из вкладки с правами доступа сохранить файл JSON и переимоновать его в /home/pi/assistant.json

зыж2 сняли авторизацию 1$

зыж3 и не понятно что должно произойти после запуска приложения.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пн сен 11, 2017 2:42 pm

skysilver писал(а):Имхо главный недостаток домашних поделок - это плохой аналоговый тракт. В тех же амазон эхо стоит матрица микрофонов, направленных по секторам, и сигналы с них обрабатываются специализированной микросхемой цифровой обработки сигналов. И только после этого очищенная, усиленная, без шумов шумов и с хорошим соотношением сигнал/шум запись отдается в облако на распознавание. ....
Согласен полностью, но то что вы описываете это вопрос наличия микросхемы с обвесом или другими словами шилд, что мешает ее туда воткнуть?

Видимо Вы говорите об таких девайсах: До того как познакомился с данным SDK упел заказать для эксперементов такие штучки думая над альтернативным подходом к данной задачи:
https://ru.aliexpress.com/item/VS1053-V ... 0.0.NB6qUn
СпойлерПоказать
Изображение
https://ru.aliexpress.com/item/UDA1380- ... 0.0.NB6qUn
СпойлерПоказать
Изображение
skysilver писал(а):... То что русского пока нет, это дело десятое.
Согласен 18 год не за горами.
skysilver писал(а): А вот захват и запись звука это та причина, по которой до сих голосовое управление не стало основным. Можно побаловаться с usb-микрофоном, но в массы это не уйдёт, т.к. в реальных условиях эксплуатации (не на стенде) будут постоянные проблемы.


Вполне веские аргументы. Будем пробовать. Делиться опытом.

По поводу проблем с микрофоном думаю Вы правы. На ум приходит, неоднократно озвученная здесь мысль, активный микрофон. Как пример встроеный микрофон, вроде записывает звуки а для распознования не подходит.

У меня валяется для этих эксперементов валяется такая штука https://ru.aliexpress.com/item/Hot-Sale ... 0.0.79Fi8H
СпойлерПоказать
Изображение

Или попытаться с такой специализированной штукой попробовать, может она как раз решает эти проблемы:
Уважаемый ferrumlogic подкидывал ссылку https://esp32.com/viewtopic.php?t=2771
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пн сен 11, 2017 2:47 pm

directman66 писал(а):.... lanket, может отправишь в личку ключи доступа для настройки, попробую поиграться.
....
отправил
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пн сен 11, 2017 2:57 pm

Отправил в гуглю запрос на увеличение квоты до 5000 запросов в день.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Пн сен 11, 2017 3:03 pm

продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пн сен 11, 2017 3:51 pm

directman66 писал(а):продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
ну колонки необязательны так как в консоли все видно. Я уже публиковал скриншоты консоли в работе.

А вот без микрофона... SDK должен же отреагировать же на ключевое слово. Без микрофона максимум можно только понять что все запустилось.

Вебкамера с микрофоном выручает.

Если из Питера могу одолжить.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Пн сен 11, 2017 6:06 pm

lanket писал(а):
directman66 писал(а):продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
ну колонки необязательны так как в консоли все видно. Я уже публиковал скриншоты консоли в работе.

А вот без микрофона... SDK должен же отреагировать же на ключевое слово. Без микрофона максимум можно только понять что все запустилось.

Вебкамера с микрофоном выручает.

Если из Питера могу одолжить.

выпросил на работе крутую железячку
СпойлерПоказать
Изображение
прописал конфиги по инструкции http://www.androidauthority.com/build-g ... pi-770296/

звук из разьема 3.5 появился, а микрофон с жабры подцепить не получается.
СпойлерПоказать
Изображение

Изображение
учитывая, что жабру уже пора возвращать, дальше колупать конфиги не вижу смысла.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Пн сен 11, 2017 6:51 pm

у чувака красиво получилось
http://www.instructables.com/id/Raspber ... eek-Wood-/

и кстати это отличный вариант и для малины и для остальной апельсины
https://ru.aliexpress.com/item/Studio-S ... 50816e56cc

заказал микрофончик за 120 руб. Придет, будем разбираться.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Ответить