Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Реализация голосового управления по типу ОК Гугл (OK Goo

Сообщение lanket » Пт окт 20, 2017 5:03 pm

Мысли по дальнейшему развитию, прошу совета.

Во первых потоковое радио и фоновая музыка. Поставить Vlc или mpd.

Потом по поводу голоса Алисы. Пусть генериться на стороне majordomo и готовым wav/mp3 воспроизводится на vlc/mpd. Или как то реализовать слушать порт куда будет прилетать запрос с текстом, а ассистент будет озвучивать. Не знаю как реализовано в терминалах и как правильно сделать. Конечно простще vlc и mpd проще чем слушать порты да ещё и кем, апач что ли ставить.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Сб окт 21, 2017 12:13 pm

Тут посмотрел описание библиотеки Sphinx. Он умеет распозновать речь с микрофона в реальном времени. Учитывая что он может делать это оффлайн, то по сути для реализации реагирования на ключевое слово можно обойтись без Google Assistant SDK

Документация и примеры
LiveSpeechRecognizer

The LiveSpeechRecognizer uses a microphone as the speech source.

LiveSpeechRecognizer recognizer = new LiveSpeechRecognizer(configuration); // Start recognition process pruning previously cached data. recognizer.startRecognition(true); SpeechResult result = recognizer.getResult(); // Pause recognition process. It can be resumed then with startRecognition(false). recognizer.stopRecognition();
Таким образом можно будет самому выбрать любое ключевое, или даже набор ключевых слов.
Обращайся к majordomo хоть Алиса, хоть Петя.

А ещё этот замечательный Sphinx умеет идентифицировать по голосу.

Правда вроде бы как не получиться обратиться по ключевому слову и получить ответ в виде 'Слушаю, Руслан, что прикажете'. Или после команды 'Будет сделано, Руслан'.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Вс окт 22, 2017 1:29 am

Добавил Orange Pi Zero в терминалы. Поставил MPD, радио заиграло. А голос как я понял идет на терминал "текстом" в случае там стоят MajorDroid или Chrome MdGate или Sound Direct Manager, в остальных случаях где в терминале установлен медиа проигрыватель голос в формате mp3 не передается.

Разве нельзя сгенерить на стороне Majodomo из текста в mp3 и передать на воспроизведение.

Или как принимать сообщения для озвучки?
sergejey писал(а): ... SayTo("Доброе утро", 7, "Zero"); ...
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
ivannag
Сообщения: 146
Зарегистрирован: Вт апр 12, 2016 12:19 am
Благодарил (а): 18 раз
Поблагодарили: 27 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение ivannag » Вс окт 22, 2017 9:48 am

lanket писал(а):
sergejey писал(а): ... SayTo("Доброе утро", 7, "Zero"); ...
Скорее всего надо просто установить на апельсинку tts движок, RHVoice например. Наверное гугловский не настроен на МД. И .wav или .mp3 думаю правильнее генерировать именно на терминале а не на сервере, поскольку у большинства сервер итак нагружен под завязку процессами MySQL.
П.с. хорошую работу вы проделали!!! Жду не дождусь свою апельсинку, чтоб попробовать!))
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Вс окт 22, 2017 10:38 am

ivannag писал(а):
lanket писал(а):
sergejey писал(а): ... SayTo("Доброе утро", 7, "Zero"); ...
Скорее всего надо просто установить на апельсинку tts движок, RHVoice например. Наверное гугловский не настроен на МД. И .wav или .mp3 думаю правильнее генерировать именно на терминале а не на сервере, поскольку у большинства сервер итак нагружен под завязку процессами MySQL.
П.с. хорошую работу вы проделали!!! Жду не дождусь свою апельсинку, чтоб попробовать!))
Поставить tts это хорошо. Без него понятно что говорить не начнёт. Думаю что можно и гугловский или яндекс tts прикрутить. Вопрос больше как majordomo сказать что этот терминал умеет говорить и заставить передавать текст сообщений предназначенных для озвучки. И чем принимать их на апельсинке, апач что ли ставить.

Не думаю что rhvoice открывает некий порт в который MD с удовольствием шлёт сообщения.

Seyto в этот терминал никак не отображается в debmes, видимо не шлёт ничего.

Ставить галочку что этот терминал имеет api majordroid тоже неправильно.

Это скорее всего надо модуль мастерить подписавшись на событие Sey.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Sas
Сообщения: 207
Зарегистрирован: Вт июл 12, 2016 6:16 pm
Благодарил (а): 2 раза
Поблагодарили: 14 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Sas » Вс окт 22, 2017 11:38 pm

lanket писал(а):Тут посмотрел описание библиотеки Sphinx. Он умеет распозновать речь с микрофона в реальном времени. Учитывая что он может делать это оффлайн, то по сути для реализации реагирования на ключевое слово можно обойтись без Google Assistant SDK

Документация и примеры
LiveSpeechRecognizer

The LiveSpeechRecognizer uses a microphone as the speech source.

LiveSpeechRecognizer recognizer = new LiveSpeechRecognizer(configuration); // Start recognition process pruning previously cached data. recognizer.startRecognition(true); SpeechResult result = recognizer.getResult(); // Pause recognition process. It can be resumed then with startRecognition(false). recognizer.stopRecognition();
Таким образом можно будет самому выбрать любое ключевое, или даже набор ключевых слов.
Обращайся к majordomo хоть Алиса, хоть Петя.

А ещё этот замечательный Sphinx умеет идентифицировать по голосу.

Правда вроде бы как не получиться обратиться по ключевому слову и получить ответ в виде 'Слушаю, Руслан, что прикажете'. Или после команды 'Будет сделано, Руслан'.

Отправлено с моего Redmi Note 4 через Tapatalk
Реализовывал на сфинксе ключевую фразу и отправку всего остального в Гугл или Яндекс. Да и без Гугла и Яндекса команды понимает, НО со сфинксом без железного шумодава много ложных срабатываний если в доме не тишина.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Пн окт 23, 2017 9:37 am

Sas писал(а):
lanket писал(а):Тут посмотрел описание библиотеки Sphinx. Он умеет распозновать речь с микрофона в реальном времени. Учитывая что он может делать это оффлайн, то по сути для реализации реагирования на ключевое слово можно обойтись без Google Assistant SDK

Документация и примеры
LiveSpeechRecognizer

The LiveSpeechRecognizer uses a microphone as the speech source.

LiveSpeechRecognizer recognizer = new LiveSpeechRecognizer(configuration); // Start recognition process pruning previously cached data. recognizer.startRecognition(true); SpeechResult result = recognizer.getResult(); // Pause recognition process. It can be resumed then with startRecognition(false). recognizer.stopRecognition();
Таким образом можно будет самому выбрать любое ключевое, или даже набор ключевых слов.
Обращайся к majordomo хоть Алиса, хоть Петя.

А ещё этот замечательный Sphinx умеет идентифицировать по голосу.

Правда вроде бы как не получиться обратиться по ключевому слову и получить ответ в виде 'Слушаю, Руслан, что прикажете'. Или после команды 'Будет сделано, Руслан'.

Отправлено с моего Redmi Note 4 через Tapatalk
Реализовывал на сфинксе ключевую фразу и отправку всего остального в Гугл или Яндекс. Да и без Гугла и Яндекса команды понимает, НО со сфинксом без железного шумодава много ложных срабатываний если в доме не тишина.
Поделитесь пожалуйста скриптом, посмотрю как будет с китайским микрофоном который якобы с шумоподавлением.

Кстати оставил на сутки ради теста на количество ложных срабатываний. В результате почему-то апельсинке зависла или ушла спать. Роутер видит коннект к WiFi, а пинги ну и конечно же ssh не проходят. Подключал Клаву и мышку чтобы разбудить, надеясь что всё таки спит, безрезультатно. Либо хорошо спит и надо будет найти где это отключается, либо зависает.

Кто попробовал имидж, проверьте как у Вас сутки оживёт или нет.

К слову:
Заказал апельсинов во все комнаты, там где будет спрятано заказал микрофоны с шумодавом который советую в шапке топика и на котором работает идеально до 5 метров без повышения интонации. Микрофоны из буржуйской статья так и не доехали до сих пор. Жду.

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
Amarok
Сообщения: 1425
Зарегистрирован: Пт дек 14, 2012 12:24 pm
Откуда: Россия, Нижняя Тура
Благодарил (а): 460 раз
Поблагодарили: 126 раз
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Amarok » Пн окт 23, 2017 11:18 am

lanket писал(а):микрофоны с шумодавом который советую в шапке топика и на котором работает идеально до 5 метров без повышения интонации
Ссылку бы на микрофон, а то там лишь картинка
Алиска живёт на Ubuntu Server 14.04.3 LTS
connect, группа в Telegram, Яндекс.Деньги для благодарностей за помощь: 41001355945165
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Пн окт 23, 2017 12:40 pm

Amarok писал(а):
lanket писал(а):микрофоны с шумодавом который советую в шапке топика и на котором работает идеально до 5 метров без повышения интонации
Ссылку бы на микрофон, а то там лишь картинка
Там где я заказывал уже нет в наличии. Вот похожий по иписанию и внешне похож:
Binmer мини USB гибкая стерео микрофон для портативных ПК Черный futural цифровой Новый AP18
http://s.aliexpress.com/RRjA7reI
(from AliExpress Android)

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
directman66
Сообщения: 2801
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 380 раз
Поблагодарили: 693 раза
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение directman66 » Пн окт 23, 2017 1:48 pm

кстати, как вариант можно использовать модуль распознавания речи cyberwrt.
http://cyber-place.ru/showthread.php?t=1490

*** Сообщение запрещено. Сообщение похоже на спам. ***
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
Ответить