Общение с системой вне привязки к мобильным устройствам.

[sheitan]

Здравствуйте уважаемые посетители и участники форума.
(Следующий абзац не отображает сути вопроса, его можно не читать)
Я уже очень долго читаю форум, слежу за проектом (и за несколькими другими) и являюсь энтузиастом в вопросе умного дома как концепции. К сожалению весь период моего энтузиазма сопровождался недостаточной финансовой составляющией и как следствие до недавнего времени моя жизнь базировалась на череде сьемных квартир.
Но как и любой усердно работающий человек я достиг своей мечты, и накопил на строительство собственного жилища (о чем мечтал последние 10 лет). Одной из самой важный составляющих моей мечты было применение всех самых современных технологий в сфере умного дома и малой автоматизации.
Так же важно заметить что я не работаю в сфере IT, не обладаю глубокими знаниями не в одном языке программирования, и могу ошибаться в некоторых сферах.
У меня есть очень много вопросов (и предложений), которые я буду по мере возможности задавать (и предлагать).
Первый из них:
Для меня умный дом это в первую очередь рациональное распределение ресурсов (экономия) и удобство. Делая акцент на втором вопросе я всегда представлял себе процесс живого (ежедневного) общения с системой. Я очень рад что функция общения реализована в системе majordomo. Но как я понял с некоторых тем на форуме (я могу ошибаться) она привязана к мобильному либо стационарному устройству.
Для меня удобство это в первую очередь отсутствие привязки к чему либо на всей территории жилища.
Как следствие я вижу 2 базовые задачи в этом вопросе: 1. Система должна слышать меня, вне привязки к моему месторасположению в рамках жилища. 2. Я должен слышать систему вне привязки к моему месторасположению в рамках жилища. Один товарищ для реализации подобной схемы предлагал использование плат видеозахвата и 32 микрофонов, для установки во всех помещениях, этот вариант мне очень не нравиться.
Мое предложение:
Установить в каждой комнате современную IP камеру.
Какие плюсы вижу я:
1) ethernet подключение (т.е. нет ограничений (в рамках здания до 400 кв.м.) по расстоянию от сервера)
2) Наличие микрофона и возможности передачи звука.
3) Наличие видеокамеры и потенциальная возможность замены датчика присутствия (в этом вопросе я сомневаюсь, т.к. кроме системы определения движения нет коробочного решения, но мне кажется что существуют технологи не только распознавание присутсвия человека, но даже понимание что это определенный человек, и даже возможно понимание системой род его занятий (спит, сидит, стоит, за компьютером и т.д.)
4. Небольшая цена (от 25 до 40$ за шт)
По второй части вопроса, мне пока в голову приходит следующий вариант:
Усилитель (ресивер) 7.1. Lowend класса, подключенный к серверу по цифровому каналу (скорее всего HDMI), что дает нам 7 колонок на которые можно независимо друг от друга посылать сигнал (система же воспринимает каждый канал отдельно, и может посылать на него звуковые сигналы). При необходимости возможно подключение 2х ресиверов.
Основные плюсы:
1. Цена ресивера 7.1. Lowend класса от 120 - 150 $
2. Цена пассивной колонки от 20-45$
3. Возможность при желании прослушивать музыку в каждой отдельной комнате, т.е. каждый может слушать себе свою музыку независимо от других членов семьи.
Буду рад критике моих аргументов. Так же учитывая что я 100% теоретик в данном вопросе, хотел бы услышать мнение практиков в правильном ли я направлении думаю, или это невозможно реализовать данным методом.
Благодарю.

[Sas]

Сколько датацентров планируете арендовать под обработку всего видео и звука? Планируете ли постройку атомной станции для питания вашего уд?
Хочется жить постоянно под записывающими каждое движение и любой шорох камерами?

[sheitan]

У меня на данный момент в офисе параллельно работают 16 камер (часть 1080р часть 720р), их все успешно более года обслуживает сервер с 8 гб оберативной памяти на стареньком 4х ядерном интеле. В дом я планирую поставить немного более мощный сервер, и у меня всего 9 комнат считая все подсобные и санузлы.
По поводу страха что Big Brother is watching, вести или не вести запись - это решение каждого, можно вообще отключить доступ к видеопотоку всем кроме системы (сервера), и не вести никаких записей.

1 датчик движения стоит 30-35$ + микрофон (хотя я не знаю как его завести в каждую комнату) еще где то 5-7$.

По поводу энергопотребления - камера потребляет дай бог 20-30 ватт в час (я думаю даже меньше), я очень сомневаюсь что в большом доме даже 20 шт сделают погоду.
"В режиме стандартного подключения IP-камера может работать от любого источника PoE. Мощность потребления IP-камеры составляет 4.5 Вт." Итого если будет 10 комнат (в среднем) то это 45 ватт в час.
https://habrahabr.ru/company/sigrand/blog/224227/

[Sas]

Распознавание видео не просто запись его на диск.
+ Распознавание звуков. Даже с одного микрофона тяжеловато а что и как будет с нескольких.

[erandess]

Одно дело просто просмотр и запись видео с камер, здесь сгодиться и старенький 4х-ядерный интел, и совсем другое - интеллектуальная обработка видеосигнала, это гораздо более ресурсоемкая задача. У меня четыре IP камеры вполне тянет интеловский атом, а посмотрите требования для AXXON-овской системы видеонаблюдения Интеллект с детектором лиц - https://sale.axxonsoft.com/calc/calculator.jsf.
Да и обработка звука для распознавание голосовых команд с энного количества параллельных потоков тоже очень серьезная нагрузка.

[Sas]

Хотя звук можно распознавать только там где есть движение.
Но что будет если пользователей несколько

[sheitan]

Да, но речь врят-ли идет о параллельном распознании с 10 микрофонов одновременно.
Я представляю себе что параллельно с системой может общаться 2 человека из разных комнат, ну максимум 3.
Если вы о вопросе ожидания и анализа речи на поиск ключевого слова обращения, я думаю можно придумать определенный механизм максимально простого поиска на базе сервера без использования API распознания речи, на базе тех же нейронных сетей и скажем 50-60 записей ключевого слова "Алиса" всеми жителями дома, прогон по 50-60 ключевым словам будет занимать не много процесороного времени (доли секунды на современных системах), плюс можно анализировать только отдельные слова, т.е. если речь непрерывная (звуковой сигнал без пауз скажем в 3 секунды между словами) то система вовсе даже не пытается искать в ней ключевые слова. Домашние знают что бы обратиться к системе надо подождать 3 секунды и сказать "Алиса", после чего система оповестит о старте диалога, и тут уже подключается API распознания речи.
Я не прав?

[sheitan]

Одно дело просто просмотр и запись видео с камер, здесь сгодиться и старенький 4х-ядерный интел, и совсем другое - интеллектуальная обработка видеосигнала, это гораздо более ресурсоемкая задача. У меня четыре IP камеры вполне тянет интеловский атом, а посмотрите требования для AXXON-овской системы видеонаблюдения Интеллект с детектором лиц - https://sale.axxonsoft.com/calc/calculator.jsf.
Да и обработка звука для распознавание голосовых команд с энного количества параллельных потоков тоже очень серьезная нагрузка.

Опять таки же, у нас нет необходимости постоянно использовать распознание постоянно. Система ресурсоемкая т.к. расчитана на тысячи лиц в день, а у нас дома всего сколько 5-7 человек?
т.е. простая нейронная сеть на распознание лиц (на каждого члена семьи скажем 50-60 фото, итого база из 300 фото, в разных комнатах дома, с разных ракурсов в разной одежде). После того как система разпознала кто это именно, она ставит на него тег, и тупо следит за его передвижением, т.е. более она не нуждается в распознании кто это именно, она уже поставила тег. В случае если по любым причинам она потеряла человека, и снова нашла, она опять запускает нейронку на определение.
В случае если по нейронке человек не определился он по умолчанию гость, с ограниченными правами управления.

[Sas]

Записывать анализировать и скармливать распознавалке?
Задержка будет хорошей прочитайте ветку про офлайн распознавание сфинксом тут же на форуме. Думаю после много вопросов отпадет.
По камерам. У меня малина только детектит движение с двух камер без распознавания и это отжирает больше половины ее системных ресурсов

[sheitan]

Более сложный шаг в дальнейшем это подключение библиотек которые использовал Microsoft в своей системе Kinnect. Я где то читал что они доступны в открытую. Система позволяет позиционировать конечности на базе видеосигнала, т.е. распознает положение рук и ног относительно телу, на базе этой информации мы сможем получить очень много данных, сидит человек, лежит, стоит, идет, висит вниз головой и т.д. но это конечно уже не столь функционально и вопрос далекого будущего.