[Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

artemon25
Сообщения: 112
Зарегистрирован: Чт авг 25, 2016 10:33 pm
Благодарил (а): 15 раз
Поблагодарили: 6 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение artemon25 » Пт июн 01, 2018 9:14 pm

lanket писал(а):
Чт май 31, 2018 5:20 pm
artemon25 писал(а):всем зрасьте а не мог ли кто нибудь записать подробное видео по установке скрипта с нуля и до рабочего варианта наверное много кому поможет. заранее спасибо
На днях попробую, сегодня купил еще одну флешку для экспериментов. Думаю сыну этого ассистента потом оставить в комнате.

Отправлено с моего Redmi Note 4 через Tapatalk
было бы замечательно желательно с нуля и поподробнее и до самого конца до рабочего состояния и с ссылками откуда взять всё что надо для проекта. Заранее огромное спасибо
За это сообщение автора artemon25 поблагодарили (всего 2):
Stazo (Пт июн 01, 2018 11:35 pm) • Taras81 (Вс июн 24, 2018 5:39 am)
Рейтинг: 2.33%
rom77
Сообщения: 28
Зарегистрирован: Вт май 15, 2018 12:16 pm
Благодарил (а): 1 раз
Поблагодарили: 1 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение rom77 » Сб июн 02, 2018 8:09 am

И если будет возможность установку скрипта на систему с установленным мажордомо, типа сразу два в одном. Спасибо.
artemon25
Сообщения: 112
Зарегистрирован: Чт авг 25, 2016 10:33 pm
Благодарил (а): 15 раз
Поблагодарили: 6 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение artemon25 » Сб июн 02, 2018 1:31 pm

rom77 писал(а):
Сб июн 02, 2018 8:09 am
И если будет возможность установку скрипта на систему с установленным мажордомо, типа сразу два в одном. Спасибо.
поддерживаю было бы классно
За это сообщение автора artemon25 поблагодарил:
Stazo (Вс июн 03, 2018 11:05 pm)
Рейтинг: 1.16%
kurs
Сообщения: 43
Зарегистрирован: Пн сен 05, 2016 10:42 am
Благодарил (а): 31 раз
Поблагодарили: 3 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение kurs » Пн июн 04, 2018 5:13 pm

и если там нет ничего секретного то выложить образ
это самый простой вариант для новичков получится
rom77
Сообщения: 28
Зарегистрирован: Вт май 15, 2018 12:16 pm
Благодарил (а): 1 раз
Поблагодарили: 1 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение rom77 » Ср июн 06, 2018 8:01 am

Здравствуйте, есть ли какие-то новые новости? ждем с нетерпением. Спасибо.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение lanket » Пт июн 08, 2018 8:07 am

kurs писал(а):и если там нет ничего секретного то выложить образ
это самый простой вариант для новичков получится
В связи с днюхой выпал из общественно полезного труда.

Так хочется выложить образ чтобы минимум вопросов и танцев с бубном было. А пока есть ещё некоторые проблемы.
1 микшер чтобы радио могло играть одновременно с голосовыми уведомлениями
2 нужна помощь опытного программиста в питоне сейчас реализовано так:
1й сервис работает на реагирование ключевого слова и далее распознав команду отправляет мажору.
2й сервис ждёт от мажора (модуля) команды от сервисных до say, sayto и самое, то что мешает радоваться готовому, sayreply.

Так вот sayreply подразумевает что терминал должен произнести фразу и распознать ответ пользователя.

Проблема заключается в том что распознать ответ пользователя мешает первый скрипт который занял микрофон.

Так же есть мелочь что во время общения с ассистентом может прилететь уведомление от мажора, например Кукушка, и второй сервис не зная что первый в данный момент с вами общается вклинивается в ваш диалог. Не говоря уже о том что первый сервис может ложно сработать на фращы произнесенные вторым сервисом.

Решение: оба скрипта надо объединить в один сервис. На что у нас с Devoff не хватает квалификации. Поэтому просим опытных в питоне помочь сделать слияние двух скриптов.

Отправлено с моего Redmi Note 4 через Tapatalk

Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение lanket » Пт июн 08, 2018 8:13 am

Да, и пока я отвлекся на микроотпуск Devoff вроде победил ещё одну проблему - уход в сон WiFi.

Отправлено с моего Redmi Note 4 через Tapatalk

Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
devoff
Сообщения: 181
Зарегистрирован: Пт апр 04, 2014 10:17 pm
Благодарил (а): 37 раз
Поблагодарили: 54 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение devoff » Пт июн 08, 2018 11:54 am

rom77 писал(а):
Сб июн 02, 2018 8:09 am
И если будет возможность установку скрипта на систему с установленным мажордомо, типа сразу два в одном. Спасибо.
Да можно, но что то опыт плачевный, у всех разные платы, разные микрофоны, разные системы.
Сам скрипт встанет достаточно легко, нужно только проверить какая версия питона, то что я делал все для питона 3.5, если версия другая нужно будет скомпилировать новый файл для сноубоя.
Но дальше нужно воевать с микрофоном, у кого то все легко проходит, и он сразу работает у кого то проблемы.

Я обновлю первое сообщение в теме или напишу статью в блоге во всеми нюансами.

lanket есть возможность использовать миксер от dsnoop, но если останавливать snowboy на момент распознавания, то работает лучше.
это сделано для первого распознавания, но для ответов не могу побороть, есть нюансы с циклами и его повторным запуском.

Далее проблемы с образами для апельсины, все опыты я провожу на ARMbian
Ubuntu

Ядро 3.4 - все работает хорошо, но отваливается wifi, можно сделать костыль который раз в 2-3 часа перегружает сеть - ifconfig wlan0 down & ifconfig wlan0 up

Ядро 4.14 - "Зазжевывает" звук, то-есть пропадет 1-2 секунды начало воспроизведения, лечиться включением в alsamixer mic1, но начинаются глюки со сноубоем, мне кажется есть какой то спящий режим для звуковой карты, что бы колонки не шумели он выключает звук и включает когда что то приходит, и на это нужно 1-2 секунды, потому что если дальше дергать по ключевым словам, то все проходит без заикания, но стоит постоять пару минут молча, все заново. не могу задать правильный запрос в гугл что бы понять как это выключить\исправить. Wifi на этом образе работает, вроде бы стабильно, из за постоянных опытов не могу проверить.

В целом то все работает, просто есть желание сделать все универсальное, что бы все могли пользоваться, но не получается.
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение fandaymon » Пт июн 08, 2018 1:07 pm

devoff писал(а):
Пт июн 08, 2018 11:54 am

lanket есть возможность использовать миксер от dsnoop, но если останавливать snowboy на момент распознавания, то работает лучше.
это сделано для первого распознавания, но для ответов не могу побороть, есть нюансы с циклами и его повторным запуском.
А в чём лучшесть делать terminate сноубою? Тише говорить можно, лучше процент распознавания, лучше ловит окончание фразы? В начале своих эскперементов тоже пытался терминейт делать, а только потом распознавать гуглом, но вроде особой разницы не заметил...
Аватара пользователя
Ron
Сообщения: 480
Зарегистрирован: Пт окт 27, 2017 6:44 pm
Благодарил (а): 144 раза
Поблагодарили: 70 раз

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение Ron » Сб июн 09, 2018 5:09 am

Всех приветствую, тут залетел в форум, сидя в аэропорту, потому что чувствовал за собой должек - отписаться)
В ближайшие 2 месяца точно я тут по продуктивной части пропаду.. ну в общем далеко буду от дома...
devoff писал(а):
Пт июн 08, 2018 11:54 am
... у всех разные платы, разные микрофоны, разные системы.
Но дальше нужно воевать с микрофоном, у кого то все легко проходит, и он сразу работает у кого то проблемы.
Я обновлю первое сообщение в теме или напишу статью в блоге во всеми нюансами.
Апельсинка хороша, конечно же, по тянуть шнурок к ней что бы работало норм - не совсем удачно. К стати не пробовали usb wi-fi воткнуть?
Если конечно
lanket писал(а):
Пт июн 08, 2018 8:13 am
Devoff вроде победил ещё одну проблему - уход в сон WiFi.
это уже на бою и проблема снята :)

Может мне так же все распиать как сделать так сказать базовую модель на малине + камера и 4 микрофона и все это с PS3 eye (не дорогая и на данный момент самая хорошая, которые пробовал)?
То есть MDM со своим блоком микрофонов и камерой. Нагрузок на систему нет больших - все летает как Боинг (правда резервное питание на аккуме с камерой будет меньше жизни давать по времени. Малина с PS3 eye на аккуме живет теперь меньше часа...)

Работает на столько идеально, что просто клас! Чувствительность микрофонов и алгоритм сноубоя определять голоса хозяев и не ошибаться - просто круть! :)
Прикручивать ps3 eye к малине можно и нужно, потому как в подарок еще будет глаз для опознавания по лицу.
простыня будет большая, поэтому и спрашиваю - в эту тему все расписать, или отдельно диссертацию в виде блога так же писать?
Буковок и телодвижений будет много...
devoff писал(а):
Пт июн 08, 2018 11:54 am
В целом то все работает, просто есть желание сделать все универсальное, что бы все могли пользоваться, но не получается.
Универсальность навряд-ли получится, потому что usb микрофоны не все с удачной чувствительностью, и каждый в alsa + pulsaudio поверх который, со своей заморочью будет.
Ответить