Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

ivannag
Сообщения: 146
Зарегистрирован: Вт апр 12, 2016 12:19 am
Благодарил (а): 18 раз
Поблагодарили: 27 раз

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение ivannag » Пн окт 16, 2017 7:44 pm

lanket писал(а):В связи с отсутствием поддержки русского языка пропал интерес.
Ну я так понимаю, с самим ассистентом по-русски пока что не поболтаешь... но разпознавание после "ок гугл" работает, так же как и теоретическая отправка распознанного русского результата в МД? Ведь получается что пока-что апельсинку можно использовать как голосовой терминал для Алисы и плеер для музыки, а в дальнейшем просто появятся функции самого русского ассистента. или я ошибаюсь?
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Вт окт 17, 2017 12:58 am

:P Работает ! :P
ivannag писал(а):
lanket писал(а):В связи с отсутствием поддержки русского языка пропал интерес.
Ну я так понимаю, с самим ассистентом по-русски пока что не поболтаешь... но разпознавание после "ок гугл" работает, так же как и теоретическая отправка распознанного русского результата в МД? Ведь получается что пока-что апельсинку можно использовать как голосовой терминал для Алисы и плеер для музыки, а в дальнейшем просто появятся функции самого русского ассистента. или я ошибаюсь?
Добрался до компа.

Кстати это мысль.
Там есть event "EventType.ON_CONVERSATION_TURN_STARTED" он срабатывает когда произнесено ключевое слово. Если потом асситенту как то в питоне прекратить слушать команду. А самим начать записывать эфир и по окончанию отправлять на распознование. далее думаю и так понятно.

То как раз и получитья то что надо и на Русском а может и не только ...


Собственно все эксперементы были в этом питоновском скрипте
/home/pi/env/lib/python3.5/site-packages/googlesamples/assistant/library/hotword.py

Для удобного запуска из консоли сделал 2 bash:
Поболтать с ассистентом

Код: Выделить всё

bash /home/pi/assistant.sh
Поболтать с Алисой (недоработанно здесь и экспременировал)

Код: Выделить всё

bash /home/pi/hw.sh
SSH:
СпойлерПоказать
root
JLbYnJwH3L
ruslan
pAWUr48hdK
pi
D8iSmNw6Z8
Выкладываю вместе с со своими ключами к api ассистента. Что бы хоть как то побаловаться пока не разберетись с гугловскими этими всякими сервисами.
Надеюсь эти ключи не попортят мне гугложизни? Добрые люди подскажите не делаю ли я большую ошибку?

Тут видно что происходит со стороны гугла
Тут можно получить свой ключ и управлять всем этим
А тут, так называемые Actions можно настроить взаимождействие Google Assistan, API.AI, IFFT

Да и кстати если я правильно понял то по сути саму Google Assistan можно задать в этих Actions следующее ключевое слово по которому то что распознается отправиться в API.AI а там уже обработанное можно отправить хоть в Viber хоть в SkuPe хоть в MD через модуль API.AI. Там для этого надо создать Aplication
СпойлерПоказать
Screenshot-2017-10-16 Actions on Google.png
Screenshot-2017-10-16 Actions on Google.png (27.33 КБ) 4898 просмотров
Ну и напоследок попробовал совет от опытных питоноводов, и получилось, на английском работает:
СпойлерПоказать
2017-10-16_23-59-49.png
2017-10-16_23-59-49.png (4.06 КБ) 4898 просмотров
тобиш говоришь "OkGoogle, hello" и "hello" прилетает в мд в чат.

пример что происходит в данный момент в консоли:
СпойлерПоказать

Код: Выделить всё

ON_CONVERSATION_TURN_STARTED
ON_END_OF_UTTERANCE
ON_RECOGNIZING_SPEECH_FINISHED:
  {'text': 'how long would it buddy'}

<html>
<head>
   <title></title>
   <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
   <meta name="viewport" content="width=device-width, initial-scale=1">
</head>

<body>
   <script type="text/javascript">
      function startSearch(event) {
         event.target.form.submit();
      }
      </script>

   <form action="?" method="get" name="frmSearch">
      <input type="text" name="qry" value="how long would it buddy" speech required x-webkit-speech
         onspeechchange="startSearch" /><input type="submit" name="Submit" value="Say" />
   </form>

<p>Command: <b>how long would it buddy</b></p><h2>2017-10-17</h2>

00:02 <b>Alice</b>: Попробуй, пожалуйста, выразить свою мысль по-другому.<br />00:02 <b>Admin</b>: how long would it buddy<br />00:00 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br /><h2>2017-10-16</h2>

23:59 <b>Alice</b>: Не совсем понимаю, о чём ты.<br />23:59 <b>Admin</b>: hello<br />23:49 <b>Alice</b>: Настя, поставь телефон на зарядку.<br />23:41 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />23:33 <b>Alice</b>: Настя, поставь телефон на зарядку.<br />23:20 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:45 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:38 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:31 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:24 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:17 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:10 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />22:00 <b>Alice</b>: 22 часа<br />21:42 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />21:35 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />21:28 <b>Alice</b>: Руслан, поставь телефон на зарядку.<br />21:26 <b>Alice</b>: Руслан зарегистрирован<br />
</body>
</html>
ON_RESPONDING_STARTED:
  {'is_error_response': False}
ON_RESPONDING_FINISHED
ON_CONVERSATION_TURN_FINISHED:
  {'with_follow_on_turn': False}
Делал все по этой инструкции

Не забудьте что через штатный микрофон не работает. Надо USB Web камеру с микрофоном или USB микрофон.

пришел из китая активный микрофон с системой шумоподавления. Сегодня уже поздно, буду завтра пробовать его.

Про имидж. Почемуто везде пишется что надо заливать имидж только специальной программой PhoenixCard. Собственно так как действовал тупо по инструкции, ей же и заливал имидж. У этой программы нет обратной операции, тобиш создать имидж с флэшки. Да и вообще почемуто мой комп на винде не вилит флэшки. И PhoenixCard не видит и Win32DiskImager тоже не видит. Думал спалил флэшку. Воткнул обратно в апельсинку, работает. Как снять имидж. Может кто знает. Из линуха дома, к которому есть доступ физически есть только малинка. В подручной, простой проги MiniTool Partition Wizard Technician Edition видно что есть раздел ext4 и 150 метров неразмеченного пространства, но эта прога не делает имиджи.
СпойлерПоказать
2017-10-17_00-52-08.png
2017-10-17_00-52-08.png (8.54 КБ) 4898 просмотров
За это сообщение автора lanket поблагодарили (всего 2):
skysilver (Вт окт 17, 2017 1:21 am) • directman66 (Вт окт 17, 2017 9:36 am)
Рейтинг: 2.33%
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Вт окт 17, 2017 1:57 pm

lanket писал(а)::P Работает ! :P
СпойлерПоказать
2017-10-17_00-52-08.png

а где образ? и должен ли запуститься на малине?
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Вт окт 17, 2017 2:03 pm

directman66 писал(а):
lanket писал(а)::P Работает ! Изображение
СпойлерПоказать
2017-10-17_00-52-08.png

а где образ? и должен ли запуститься на малине?


Так я же написал что не пойму как его снять.

Win32DiskImager не видит флэшку.

PhoenixCard которым заливался образ обратной операции не имеет.

Было уже поздно и хотелось спать. Поэтому не разобрался чем снять образ с флэшки.

Есть мысли?
Там на флэшке раздел ext4 и 150 метров неразмеченной области.


А на малине вряд-ли запуститься.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение directman66 » Вт окт 17, 2017 2:20 pm

winiso, winimage еще есть, или как вариант прямо из линукс снять копию dd
СпойлерПоказать

Код: Выделить всё

Создание образа жесткого диска

dd if=/dev/sda of=/mnt/backup/sda.img bs=8M conv=sync,noerror
if=/dev/sda — копируем весь жесткий диск sda;
of=/mnt/backup/sda.img — копируем в /mnt/backup/sda.img;
bs=8M — задаем размер кэша жесткого диска для ускорения процедуры копирования (иначе данные будут сбрасываться малыми порциями по 512 байт);
conv=sync,noerror — указываем dd на необходимость копирования по типу бит-в-бит с игнорированием ошибок чтения.
Для сокращения размера образа жесткого диска его можно сжать любым архиватором.

dd if=/dev/sda bs=8M conv=sync,noerror | gzip -c > /mnt/backup/sda.img
Восстановление образа жесткого диска

Для восстановления образа жесткого диска необходимо проделать процедуру обратную процедуре создания этого образа.

dd if=/mnt/backup/sda.img of=/dev/sda bs=8M conv=sync,noerror
При использовании сжатия параллельно необходимо разархивировать образ.

gunzip -c /mnt/backup/sda.img | dd of=/dev/sda conv=sync,noerror bs=8M
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Вт окт 17, 2017 2:36 pm

directman66 писал(а):winiso, winimage еще есть, или как вариант прямо из линукс снять копию dd
СпойлерПоказать

Код: Выделить всё

Создание образа жесткого диска

dd if=/dev/sda of=/mnt/backup/sda.img bs=8M conv=sync,noerror
if=/dev/sda — копируем весь жесткий диск sda;
of=/mnt/backup/sda.img — копируем в /mnt/backup/sda.img;
bs=8M — задаем размер кэша жесткого диска для ускорения процедуры копирования (иначе данные будут сбрасываться малыми порциями по 512 байт);
conv=sync,noerror — указываем dd на необходимость копирования по типу бит-в-бит с игнорированием ошибок чтения.
Для сокращения размера образа жесткого диска его можно сжать любым архиватором.

dd if=/dev/sda bs=8M conv=sync,noerror | gzip -c > /mnt/backup/sda.img
Восстановление образа жесткого диска

Для восстановления образа жесткого диска необходимо проделать процедуру обратную процедуре создания этого образа.

dd if=/mnt/backup/sda.img of=/dev/sda bs=8M conv=sync,noerror
При использовании сжатия параллельно необходимо разархивировать образ.

gunzip -c /mnt/backup/sda.img | dd of=/dev/sda conv=sync,noerror bs=8M
Вечером попробую.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
Gelezako
Сообщения: 963
Зарегистрирован: Чт июн 02, 2016 9:33 pm
Благодарил (а): 205 раз
Поблагодарили: 106 раз
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение Gelezako » Вт окт 17, 2017 6:13 pm

lanket писал(а): Выкладываю вместе с со своими ключами к api ассистента. Что бы хоть как то побаловаться пока не разберетись с гугловскими этими всякими сервисами.
Надеюсь эти ключи не попортят мне гугложизни? Добрые люди подскажите не делаю ли я большую ошибку?
гугл клауд даёт какое-то кол-во бесплатных запросов, а при превышении будет списывать с вашей карты денежку, так что я бы не советовал так делать.
фанат Мажордомо
тематический блог http://blog.gelezako.com
плейлист про Мажордомо на ютубе https://www.youtube.com/playlist?list=P ... EdBGtX084E
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Вт окт 17, 2017 9:32 pm

Gelezako писал(а):
lanket писал(а): Выкладываю вместе с со своими ключами к api ассистента. Что бы хоть как то побаловаться пока не разберетись с гугловскими этими всякими сервисами.
Надеюсь эти ключи не попортят мне гугложизни? Добрые люди подскажите не делаю ли я большую ошибку?
гугл клауд даёт какое-то кол-во бесплатных запросов, а при превышении будет списывать с вашей карты денежку, так что я бы не советовал так делать.
Спасибо за информацию.
Ну если это самое страшное то не получится у Гугла списать. Я таким не даю карты, либо подсовываю виртуальные с лимитом 0 и сроком на 1-2 дня.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Вт окт 17, 2017 10:57 pm

Gelezako писал(а):
lanket писал(а): Выкладываю вместе с со своими ключами к api ассистента. Что бы хоть как то побаловаться пока не разберетись с гугловскими этими всякими сервисами.
Надеюсь эти ключи не попортят мне гугложизни? Добрые люди подскажите не делаю ли я большую ошибку?
гугл клауд даёт какое-то кол-во бесплатных запросов, а при превышении будет списывать с вашей карты денежку, так что я бы не советовал так делать.
Проверил на всякий случай. Так и есть, видимо для регистрации просил карту. Я ему подсунул виртуальную которая уже больше года как назад истек срок действия.

Кстати в Google Actions можно создать "Приложение" и там указываешь сколько тебе надо лимитов в бесплатном варианте.
Служба поддержки мне прислала отказ по причинам:
1. Картинку проекта подсунул нетематичную.
2. Много грамматических ошибок. Да с английским я я не очень дружу.

Можно повторно запрос сделать и ключ к апи выдать всем.
Но думаю наверно надо с разрешения Сергея наверно, так как я там представился от имени сего сообщества, мол разрабатываем свою колонку для системы MajorDomo. Собственно выношу на обсуждение данный шаг.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
Gelezako
Сообщения: 963
Зарегистрирован: Чт июн 02, 2016 9:33 pm
Благодарил (а): 205 раз
Поблагодарили: 106 раз
Контактная информация:

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение Gelezako » Вт окт 17, 2017 11:21 pm

lanket писал(а): Кстати в Google Actions можно создать "Приложение" и там указываешь сколько тебе надо лимитов в бесплатном варианте.
Служба поддержки мне прислала отказ по причинам:
1. Картинку проекта подсунул нетематичную.
2. Много грамматических ошибок. Да с английским я я не очень дружу.

Можно повторно запрос сделать и ключ к апи выдать всем.
Но думаю наверно надо с разрешения Сергея наверно, так как я там представился от имени сего сообщества, мол разрабатываем свою колонку для системы MajorDomo. Собственно выношу на обсуждение данный шаг.
хм, не думаю что-то кто-то будет против, наоборот, ведь платформа открытая и сообщество создано именно для новых разработок и улучшений.
фанат Мажордомо
тематический блог http://blog.gelezako.com
плейлист про Мажордомо на ютубе https://www.youtube.com/playlist?list=P ... EdBGtX084E
Ответить