[Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

yura_s80
Сообщения: 80
Зарегистрирован: Чт апр 19, 2018 9:09 am
Благодарил (а): 7 раз
Поблагодарили: 9 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение yura_s80 » Пт авг 03, 2018 7:37 am

dance12r писал(а):
Пт авг 03, 2018 7:28 am
да, этот образ еще не говорит, Готово, после перезагрузки.
попробуйте записать второе или третье ключевое слово. поскле компиляции и нажатия кнопки приметь, можно не перезагружать сам апельсин
Сделал, 3 варианта слов, ни по одному не реагирует, на всякий случай посмотрел, все 3 модели, файлы есть, странно только что у всех 3-х одинаковый размер 😐
Аватара пользователя
dance12r
Сообщения: 105
Зарегистрирован: Пн июл 17, 2017 12:14 pm
Откуда: Киев
Благодарил (а): 10 раз
Поблагодарили: 47 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение dance12r » Пт авг 03, 2018 7:51 am

сколько?
Raspberry Pi 3 + Broadlink + MySensors + MDM VoiceAssistant
yura_s80
Сообщения: 80
Зарегистрирован: Чт апр 19, 2018 9:09 am
Благодарил (а): 7 раз
Поблагодарили: 9 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение yura_s80 » Пт авг 03, 2018 8:41 am

dance12r писал(а):
Пт авг 03, 2018 7:51 am
сколько?
123.jpg
123.jpg (38.81 КБ) 4324 просмотра
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение lanket » Вс авг 05, 2018 10:55 pm

Обновил шапку в связи с выявлеными нареканиями к новому образу.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Anaki
Сообщения: 35
Зарегистрирован: Пн авг 06, 2018 12:32 am
Благодарил (а): 0
Поблагодарили: 21 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение Anaki » Пн авг 06, 2018 2:01 am

Поставил на Orange pi zero +2 H5 с armbian bionic. Плату не рекомендую, вайфай очень плохой. Подключение к mosquitto занимает 2-3 секунды (против ~120ms на другом одноплатнике), терминал лагает.

Команды уходят все ок, но то что ответы say не приходят на терминал - так и должно быть? Наверное они должны приходить с "tts:" в sayreply.py, но их нет.
Примерная установка на Orange pi zero +2 H5 с платой расширенияПоказать
1. Включаем аналоговое аудио: armbian-config->system-hardware->analog-codec. Или "overlays=analog-codec" в /boot/armbianEnv.txt. И ребут.
2. Включаем микрофон, тот что на плате mic1: alsamixer->F4 выбираем Mic1 и жмем space, выходим.
3. По инструкции с https://github.com/devoff/mdmPiTerminal редактируем /etc/asound.conf, только везде hw:0,0.

Проверяем работу аудио, записываем свой голос 10 секунд и потом воспроизводим, должно работать:

Код: Выделить всё

arecord -d 10 test.wav
aplay test.wav
Установку терминала делаем по инструкции, после чего собираем _snowboydetect.so для python3 на aarch64.

Код: Выделить всё

# Зависимости для сборки
sudo apt install libatlas-base-dev swig
git clone https://github.com/Kitt-AI/snowboy
# у меня он пытался собирать под убунту64, просто подменяем либу.
cp snowboy/lib/aarch64-ubuntu1604/libsnowboy-detect.a snowboy/lib/ubuntu64/
cd snowboy/swig/Python3/
make
# заменяем либу.
cp _snowboydetect.so ~/mdmPiTerminal/src/
Надеюсь поможет тем кто будет на H5 ставить.
yura_s80
Сообщения: 80
Зарегистрирован: Чт апр 19, 2018 9:09 am
Благодарил (а): 7 раз
Поблагодарили: 9 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение yura_s80 » Пн авг 06, 2018 9:38 am

Прошу помощи, что только не делал, не слышит меня Алиска, гуру, помогите плиз, Плата пришла с алиекспресса 3 недели назад, специально заказал под терминал этот, OrangePi Zero 512 Mb проц H2+ с платой расширения.
Микрофон пишет и воспроизводит динамики, все тесты aplay, arecord, а так же запись и воспроизведение через МДМ проходят без ошибок, все компилится и применяется, файлы на терминале 11.wav 12.wav 13.wav из /tmp воспроизводятся.
Misko
Сообщения: 36
Зарегистрирован: Вс янв 14, 2018 5:57 pm
Благодарил (а): 17 раз
Поблагодарили: 0

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение Misko » Пн авг 06, 2018 4:58 pm

Добрый день!
Есть ли возомжность поставить скрипты на RPi3 ?
Или там питон как то по особенному конфигурировать надо ?
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение fandaymon » Пн авг 06, 2018 5:04 pm

Misko писал(а):
Пн авг 06, 2018 4:58 pm
Добрый день!
Есть ли возомжность поставить скрипты на RPi3 ?
Или там питон как то по особенному конфигурировать надо ?
Можно! 8-) Не уверен что инсталяционные скрипты в лоб заработают, но если поставить нужные пакеты ручками - всё работает. Возможно надо будет поиграться с настройками аудио системы. Но если snowboy + google работают, то всё остальное - дело техники
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение lanket » Вт авг 07, 2018 9:51 pm

Обновил шапку.
Появились более стабильные образы:
Образы для быстрого старта:
для работы со встроенным микрофоном
для работы со USB микрофоном

Благодарим за образы и большую работу за настройку и многочисленные эксперементы dance12r

Все сегодняшние поделки - в плане мнижения напряжения процессора для уменьшения температуры - включены. Отключен эконом режим для вайфая - применяется со стартом системы. Настроен "мониторинг" доступен на порт 8888.
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
drhellp
Сообщения: 20
Зарегистрирован: Чт мар 08, 2018 6:41 pm
Благодарил (а): 6 раз
Поблагодарили: 3 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение drhellp » Пт авг 17, 2018 1:17 pm

Прочитал тему, возникло несколько вопросов:
  • Для интеграции с MDM требуются API ключи (Google, Yandex)?
  • Как к mdmPiTerminal подключить синтез речи rhvoice?
  • Какая скорость реакции MDM, на разном железе, от конца произнесения фразы и до ответа Алисы?
Ответить