Голосовое управление на основе SDK ОК Гугл (OK Google)
Модератор: immortal
-
- Сообщения: 3006
- Зарегистрирован: Чт авг 21, 2014 8:28 am
- Откуда: Киров, Россия
- Благодарил (а): 400 раз
- Поблагодарили: 1753 раза
- Контактная информация:
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
Имхо главный недостаток домашних поделок - это плохой аналоговый тракт. В тех же амазон эхо стоит матрица микрофонов, направленных по секторам, и сигналы с них обрабатываются специализированной микросхемой цифровой обработки сигналов. И только после этого очищенная, усиленная, без шумов шумов и с хорошим соотношением сигнал/шум запись отдается в облако на распознавание. То что русского пока нет, это дело десятое. А вот захват и запись звука это та причина, по которой до сих голосовое управление не стало основным. Можно побаловаться с usb-микрофоном, но в массы это не уйдёт, т.к. в реальных условиях эксплуатации (не на стенде) будут постоянные проблемы.
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
Мой CONNECT | Блоги | Telegram
- lanket
- Сообщения: 1168
- Зарегистрирован: Вт окт 14, 2014 11:27 pm
- Откуда: Санкт-Петербург
- Благодарил (а): 260 раз
- Поблагодарили: 163 раза
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
Пока искал как по русски заставить понимать, нашёл много интересного.
Возможности Google Assistant SDK:
Можно связать с Google Actions, API.AI, ifttt.com а уже после них можно дергать практически любой другой онлайн сервис.
Ну или после распознавания можно в питоне делать любые действия, в том числе и отправка текста команды в MajorDomo.
Правда так никто и не подсказал как переменную event в скрипте превратить в закодированный (избавленный от русских букв и пробелов) текст команды для отправки в majorDomo.
Кстати если у кого есть Orange Pi Zero и лень или не получилось самому установить этот SDK могу снять имидж и выложить где все это работет.
Еще один вопрос меня гложет и не дает покоя. Я не пойму такой вещи: не уж то Google хочет чтобы те ребята которые хотят воспользоваться этим SDK должны пройти этот не лёгкий путь регистраций и настройки всяких сервисов в дебрях Google development ради того чтобы придать голосое управление каким нибудь чайником.
Так же не пойму еще такой вещи. когда заработает все кто захочет у себя дома замутить такоеже придется, залинть наш образ где все настроено. А потом что, регестрироваться опять в Клауде, получать ключи, делать в консоле какието операции что бы заработало. Ведь гуглохом же для работы думаю не требует таких танцев.
Либо по другому как думает гугля чтобы Google Assistant SDK пускали в массы?
Я имею ввиду:
Когда мы реализуем это, в идеале что бы чел взял апельсинку, залил образ и пользовался в удовольствие. Если ему отдавать с привязкой к аккаунту Гугл Клауду то проблема с ограничениями : 500 в день (видимо с аккаунта) и 100 в секунду от одного пользователя. Например в эту субботу гугл откудато насчитал 51 запрос, не думаю что я 51 раз звал гугл.
Разве ГуглоХоум надо тоже проходить такой путь регистрации и настроек, или такие вещи должны работать купил и радуйся с минимальным набором настроек.
Возможности Google Assistant SDK:
Можно связать с Google Actions, API.AI, ifttt.com а уже после них можно дергать практически любой другой онлайн сервис.
Ну или после распознавания можно в питоне делать любые действия, в том числе и отправка текста команды в MajorDomo.
Правда так никто и не подсказал как переменную event в скрипте превратить в закодированный (избавленный от русских букв и пробелов) текст команды для отправки в majorDomo.
Кстати если у кого есть Orange Pi Zero и лень или не получилось самому установить этот SDK могу снять имидж и выложить где все это работет.
Еще один вопрос меня гложет и не дает покоя. Я не пойму такой вещи: не уж то Google хочет чтобы те ребята которые хотят воспользоваться этим SDK должны пройти этот не лёгкий путь регистраций и настройки всяких сервисов в дебрях Google development ради того чтобы придать голосое управление каким нибудь чайником.
Так же не пойму еще такой вещи. когда заработает все кто захочет у себя дома замутить такоеже придется, залинть наш образ где все настроено. А потом что, регестрироваться опять в Клауде, получать ключи, делать в консоле какието операции что бы заработало. Ведь гуглохом же для работы думаю не требует таких танцев.
Либо по другому как думает гугля чтобы Google Assistant SDK пускали в массы?
Я имею ввиду:
Когда мы реализуем это, в идеале что бы чел взял апельсинку, залил образ и пользовался в удовольствие. Если ему отдавать с привязкой к аккаунту Гугл Клауду то проблема с ограничениями : 500 в день (видимо с аккаунта) и 100 в секунду от одного пользователя. Например в эту субботу гугл откудато насчитал 51 запрос, не думаю что я 51 раз звал гугл.
СпойлерПоказать
Разработка голосового асистента для Мажордомо по любому ключевому слову.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
-
- Сообщения: 2801
- Зарегистрирован: Пн дек 26, 2016 9:51 am
- Откуда: Екатеринбург
- Благодарил (а): 380 раз
- Поблагодарили: 694 раза
- Контактная информация:
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
привязал карту к акаунту, авторизовали 1$ и прислали следующее
отправил вроде запрашиваему информацию, но чето гемора тут очень много. lanket, может отправишь в личку ключи доступа для настройки, попробую поиграться.
зыж настраиваю на малине на базе образа magpi по инструкции https://aiyprojects.withgoogle.com/voic ... istant-api
тут вроде требуется из вкладки с правами доступа сохранить файл JSON и переимоновать его в /home/pi/assistant.json
зыж2 сняли авторизацию 1$
зыж3 и не понятно что должно произойти после запуска приложения.
Код: Выделить всё
В платежном аккаунте 009C7E-9972EB-BCFBA7, связанном с проектом Google Cloud Platform/API pizero-179609, обнаружены неполадки.
Проект был заблокирован, а владельцу платежного аккаунта отправлено оповещение.
Если вы являетесь владельцем этого платежного аккаунта, подтвердите указанную в нем информацию. Сделать это можно здесь.
зыж настраиваю на малине на базе образа magpi по инструкции https://aiyprojects.withgoogle.com/voic ... istant-api
тут вроде требуется из вкладки с правами доступа сохранить файл JSON и переимоновать его в /home/pi/assistant.json
зыж2 сняли авторизацию 1$
зыж3 и не понятно что должно произойти после запуска приложения.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
- lanket
- Сообщения: 1168
- Зарегистрирован: Вт окт 14, 2014 11:27 pm
- Откуда: Санкт-Петербург
- Благодарил (а): 260 раз
- Поблагодарили: 163 раза
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
Согласен полностью, но то что вы описываете это вопрос наличия микросхемы с обвесом или другими словами шилд, что мешает ее туда воткнуть?skysilver писал(а):Имхо главный недостаток домашних поделок - это плохой аналоговый тракт. В тех же амазон эхо стоит матрица микрофонов, направленных по секторам, и сигналы с них обрабатываются специализированной микросхемой цифровой обработки сигналов. И только после этого очищенная, усиленная, без шумов шумов и с хорошим соотношением сигнал/шум запись отдается в облако на распознавание. ....
Видимо Вы говорите об таких девайсах: До того как познакомился с данным SDK упел заказать для эксперементов такие штучки думая над альтернативным подходом к данной задачи:
https://ru.aliexpress.com/item/VS1053-V ... 0.0.NB6qUn
СпойлерПоказать
СпойлерПоказать
Согласен 18 год не за горами.skysilver писал(а):... То что русского пока нет, это дело десятое.
skysilver писал(а): А вот захват и запись звука это та причина, по которой до сих голосовое управление не стало основным. Можно побаловаться с usb-микрофоном, но в массы это не уйдёт, т.к. в реальных условиях эксплуатации (не на стенде) будут постоянные проблемы.
Вполне веские аргументы. Будем пробовать. Делиться опытом.
По поводу проблем с микрофоном думаю Вы правы. На ум приходит, неоднократно озвученная здесь мысль, активный микрофон. Как пример встроеный микрофон, вроде записывает звуки а для распознования не подходит.
У меня валяется для этих эксперементов валяется такая штука https://ru.aliexpress.com/item/Hot-Sale ... 0.0.79Fi8H
СпойлерПоказать
Или попытаться с такой специализированной штукой попробовать, может она как раз решает эти проблемы:
Уважаемый ferrumlogic подкидывал ссылку https://esp32.com/viewtopic.php?t=2771
Разработка голосового асистента для Мажордомо по любому ключевому слову.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
- lanket
- Сообщения: 1168
- Зарегистрирован: Вт окт 14, 2014 11:27 pm
- Откуда: Санкт-Петербург
- Благодарил (а): 260 раз
- Поблагодарили: 163 раза
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
отправилdirectman66 писал(а):.... lanket, может отправишь в личку ключи доступа для настройки, попробую поиграться.
....
Разработка голосового асистента для Мажордомо по любому ключевому слову.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
- lanket
- Сообщения: 1168
- Зарегистрирован: Вт окт 14, 2014 11:27 pm
- Откуда: Санкт-Петербург
- Благодарил (а): 260 раз
- Поблагодарили: 163 раза
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
Отправил в гуглю запрос на увеличение квоты до 5000 запросов в день.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
-
- Сообщения: 2801
- Зарегистрирован: Пн дек 26, 2016 9:51 am
- Откуда: Екатеринбург
- Благодарил (а): 380 раз
- Поблагодарили: 694 раза
- Контактная информация:
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
- lanket
- Сообщения: 1168
- Зарегистрирован: Вт окт 14, 2014 11:27 pm
- Откуда: Санкт-Петербург
- Благодарил (а): 260 раз
- Поблагодарили: 163 раза
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
ну колонки необязательны так как в консоли все видно. Я уже публиковал скриншоты консоли в работе.directman66 писал(а):продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
А вот без микрофона... SDK должен же отреагировать же на ключевое слово. Без микрофона максимум можно только понять что все запустилось.
Вебкамера с микрофоном выручает.
Если из Питера могу одолжить.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Обсужение
gitHub 2й версии терминала
GitHub модуля для МД
gitHub сырого модуля 2й версии
Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
-
- Сообщения: 2801
- Зарегистрирован: Пн дек 26, 2016 9:51 am
- Откуда: Екатеринбург
- Благодарил (а): 380 раз
- Поблагодарили: 694 раза
- Контактная информация:
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
lanket писал(а):ну колонки необязательны так как в консоли все видно. Я уже публиковал скриншоты консоли в работе.directman66 писал(а):продолжу лучше сюда )
Спасибо, если у меня нет колонок и микрофона, я как то смогу увидеть результат?
А вот без микрофона... SDK должен же отреагировать же на ключевое слово. Без микрофона максимум можно только понять что все запустилось.
Вебкамера с микрофоном выручает.
Если из Питера могу одолжить.
выпросил на работе крутую железячку
СпойлерПоказать
звук из разьема 3.5 появился, а микрофон с жабры подцепить не получается.
СпойлерПоказать
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
-
- Сообщения: 2801
- Зарегистрирован: Пн дек 26, 2016 9:51 am
- Откуда: Екатеринбург
- Благодарил (а): 380 раз
- Поблагодарили: 694 раза
- Контактная информация:
Re: Реализация голосового управления по типу ОК Гугл (OK Goo
у чувака красиво получилось
http://www.instructables.com/id/Raspber ... eek-Wood-/
и кстати это отличный вариант и для малины и для остальной апельсины
https://ru.aliexpress.com/item/Studio-S ... 50816e56cc
заказал микрофончик за 120 руб. Придет, будем разбираться.
http://www.instructables.com/id/Raspber ... eek-Wood-/
и кстати это отличный вариант и для малины и для остальной апельсины
https://ru.aliexpress.com/item/Studio-S ... 50816e56cc
заказал микрофончик за 120 руб. Придет, будем разбираться.
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram