IP камера, нейросеть und оrdnung

Модераторы: Bagir, Ivan, Vit, immortal, PAV

Ответить
C_3AXAPOB
Сообщения: 447
Зарегистрирован: Ср июн 08, 2016 4:17 pm
Благодарил (а): 102 раза
Поблагодарили: 77 раз

IP камера, нейросеть und оrdnung

Сообщение C_3AXAPOB » Ср окт 10, 2018 1:06 am

На написание этой заметки меня подтолкнул опыт Matt Farley (вроде так его зовут) http://jarvisfarley.com/code/roomcheck/ который использовал tensorflow чтобы определять убрано в детской или нет и соответсвенно на основании этого его система разрешает или запрещает ребенку включать ТВ.
Я заинтересовался и решил испытать его опыт на себе.

**1. TEIL EINS. PLANUNG **

Изображение

"Майор дома" у меня крутится на Orange pi PC +, OS Armbian Debian stretch. Если у вас другая система смотрите в гугл как установить Tensorflow.

Делаем следующее:

Код: Выделить всё

1. sudo apt update & sudo apt install python3-pip python3-dev 
2. wget https://github.com/rezaxdi/tensorflow-on-orangepi-zero/releases/download/v1.6.0/tensorflow-1.6.0-cp35-cp35m-linux_armv7l.whl
3. pip3 install --user tensorflow-1.6.0-cp35-cp35m-linux_armv7l.whl
4. pip3 install "tensorflow-hub" --user
5. mkdir ~/tensorflow
6. cd ~/tensorflow
7. curl -LO https://github.com/tensorflow/tensorflow/raw/master/tensorflow/examples/label_image/label_image.py
8. curl -LO https://github.com/tensorflow/hub/raw/r0.1/examples/image_retraining/retrain.py

Всё кроме установки пип'а прошло гладко. С ошибками пип'а справился гуглежом.

Проверям установку Tensorflow

Код: Выделить всё

python3 -c 'import tensorflow as tf; print(tf.__version__)'  # for Python 3
Коробок должен ответить
Это версия Tensorflow, старовата но для Orange pi PC+ единственный вариант.

**2.TEIL ZWEI. VORBEREITUNG**

Для обучения нейросети нам понадобится два набора изображений с ip камеры. Первый - комната прибрана. Второй - в комнате беспорядок.
Собственно это могут быть наборы "есть машина во дворе-нет машины во дворе", "есть кто на даване - нет никого" и т.п.

Накопить их довольно просто, надо заставить камеру делать снапшоты с определнной периодичностью а потом спутся какое-то время рассортировать.
При этом рекомендуется использовать фото с разным типом освещения. Matt рекомендует как минимум 100 фото каждого типа. Но чет это дохрена. Сам скрипт retrain.py говорит, что 20 изображений.

Как и в примере фото прибраной комнаты room/clean, фото бардака room/messy.

Теперь учим нейросеть
Изображение

Код: Выделить всё

python3 retrain.py \
    --image_dir /root/tensorflow/room \
    --output_graph=rooms.pb \
    --output_labels=rooms.txt \
    --tfhub_module https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1

Как пишет Matt Farley обучение занимает от 15-60 минут в зависимости от процессора.
Так как апельсин слабоват для таких задач, можно учить на ББ.
Положительный момент в том, что обучить можно один раз, если положение камеры у вас не будет изменяться.
Результатом обучения будет два файла rooms.pb и rooms.txt


**4.TEIL VIER. BLITZKREIG**

Распознаем снапшот с камеры.

Код: Выделить всё

python3 label_image.py \
    --graph=rooms.pb \
    --labels=rooms.txt \
    --input_layer=Placeholder \
    --output_layer=final_result \
    --image=/path/to/new_image.jpg

Результатом будет ответ вроде:

Код: Выделить всё

messy 0.894276
clean 0.105724

В данном случае нейросеть пришла к выводу, что в комнате срач.
Утаскиваем значения в МДМ.

**5. TEIL FÜNF. KAPITULIREN**

Собственно у меня пока один вопрос, как утащить МДМ результат работы скрипта.
Последний раз редактировалось C_3AXAPOB Вс окт 14, 2018 6:29 am, всего редактировалось 1 раз.
За это сообщение автора C_3AXAPOB поблагодарили (всего 3):
VooDooN (Ср окт 10, 2018 10:58 am) • Molostov (Чт окт 11, 2018 12:22 am) • nightwind (Чт окт 11, 2018 6:37 pm)
Рейтинг: 4.41%
directman66
Сообщения: 1668
Зарегистрирован: Пн дек 26, 2016 9:51 am
Откуда: Екатеринбург
Благодарил (а): 249 раз
Поблагодарили: 291 раз

Re: IP камера, нейросеть und оrdnung

Сообщение directman66 » Ср окт 10, 2018 6:52 am

Это круто! Самое простое - можно get запросом присводить значение какой-либо переменной. Смотрите примеры в базе знаний https://kb.smartliving.ru/http-ssilki-d ... majordomo/
Если вам помогло данное сообщение, не поленитесь нажать кнопку "спасибо".
CONNECT | Оборудование | Блог | Дополнения | Email | Telegram
smart_g
Сообщения: 219
Зарегистрирован: Вт окт 17, 2017 11:29 am
Откуда: Украина, Киев
Благодарил (а): 11 раз
Поблагодарили: 24 раза

Re: IP камера, нейросеть und оrdnung

Сообщение smart_g » Ср окт 10, 2018 11:43 am

C_3AXAPOB писал(а):
Ср окт 10, 2018 1:06 am


Собственно у меня пока один вопрос, как утащить МДМ результат работы скрипта.
Да как вариант сделать вывод последнего скрипта не стандартный вывод, а вплоть до посылки по MQTT. Это же линукс.
Ubuntu Server 16.04 LTS, OpenWRT 1-wire, SonOFF, MYSensors, MiHome, Yeelight, MiFlower
C_3AXAPOB
Сообщения: 447
Зарегистрирован: Ср июн 08, 2016 4:17 pm
Благодарил (а): 102 раза
Поблагодарили: 77 раз

Re: IP камера, нейросеть und оrdnung

Сообщение C_3AXAPOB » Вс окт 14, 2018 6:22 am

Наконец-то набрал нужное количество снапшотов для обучения.
Докладываю.
Обучал на ноуте с Core i7, время обучения ~10 минут. Общее количество использованных снапшотов 43. Разрешение каждого 1280x720. Что похоже излишне. Можно попробовать на меньшем разрешении. Размер обученной модели ~83 мегабайта.

Обученную сеть закачал на свой сервер orange pi pc+.

Время распознавания снапшота с разрешением 1280x720 25-30 секунд. Распознает хорошо.

Изображение
Аватара пользователя
ZhenyaRUS39
Сообщения: 34
Зарегистрирован: Ср ноя 16, 2016 12:41 pm
Благодарил (а): 22 раза
Поблагодарили: 3 раза

Re: IP камера, нейросеть und оrdnung

Сообщение ZhenyaRUS39 » Вт окт 16, 2018 2:03 pm

А не могли бы вы видео записать что и как вы делаете, как обучаете и как скармливаете результат в MD.
Очень интересная тема и практически безграничная, но входной порог высок получается, а Ваше видео бы помогло :)
Ответить