Страница 1 из 2

[Модификация] Камера, нейросеть und оrdnung

Добавлено: Ср окт 10, 2018 1:06 am
C_3AXAPOB
На написание этой заметки меня подтолкнул опыт Matt Farley (вроде так его зовут) http://jarvisfarley.com/code/roomcheck/ который использовал tensorflow чтобы определять убрано в детской или нет и соответсвенно на основании этого его система разрешает или запрещает ребенку включать ТВ.
Я заинтересовался и решил испытать его опыт на себе.

**1. TEIL EINS. PLANUNG **

Изображение

"Майор дома" у меня крутится на Orange pi PC +, OS Armbian Debian stretch. Если у вас другая система смотрите в гугл как установить Tensorflow.

Делаем следующее:

Код: Выделить всё

1. sudo apt update & sudo apt install python3-pip python3-dev 
2. wget https://github.com/rezaxdi/tensorflow-on-orangepi-zero/releases/download/v1.6.0/tensorflow-1.6.0-cp35-cp35m-linux_armv7l.whl
3. pip3 install --user tensorflow-1.6.0-cp35-cp35m-linux_armv7l.whl
4. pip3 install "tensorflow-hub" --user
5. mkdir ~/tensorflow
6. cd ~/tensorflow
7. curl -LO https://github.com/tensorflow/tensorflow/raw/master/tensorflow/examples/label_image/label_image.py
8. curl -LO https://github.com/tensorflow/hub/raw/r0.1/examples/image_retraining/retrain.py

Всё кроме установки пип'а прошло гладко. С ошибками пип'а справился гуглежом.

Проверям установку Tensorflow

Код: Выделить всё

python3 -c 'import tensorflow as tf; print(tf.__version__)'  # for Python 3
Коробок должен ответить
Это версия Tensorflow, старовата но для Orange pi PC+ единственный вариант.

**2.TEIL ZWEI. VORBEREITUNG**

Для обучения нейросети нам понадобится два набора изображений с ip камеры. Первый - комната прибрана. Второй - в комнате беспорядок.
Собственно это могут быть наборы "есть машина во дворе-нет машины во дворе", "есть кто на даване - нет никого" и т.п.

Накопить их довольно просто, надо заставить камеру делать снапшоты с определнной периодичностью а потом спутся какое-то время рассортировать.
При этом рекомендуется использовать фото с разным типом освещения. Matt рекомендует как минимум 100 фото каждого типа. Но чет это дохрена. Сам скрипт retrain.py говорит, что 20 изображений.

Как и в примере фото прибраной комнаты room/clean, фото бардака room/messy.

Теперь учим нейросеть
Изображение

Код: Выделить всё

python3 retrain.py \
    --image_dir /root/tensorflow/room \
    --output_graph=rooms.pb \
    --output_labels=rooms.txt \
    --tfhub_module https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1

Как пишет Matt Farley обучение занимает от 15-60 минут в зависимости от процессора.
Так как апельсин слабоват для таких задач, можно учить на ББ.
Положительный момент в том, что обучить можно один раз, если положение камеры у вас не будет изменяться.
Результатом обучения будет два файла rooms.pb и rooms.txt


**4.TEIL VIER. BLITZKREIG**

Распознаем снапшот с камеры.

Код: Выделить всё

python3 label_image.py \
    --graph=rooms.pb \
    --labels=rooms.txt \
    --input_layer=Placeholder \
    --output_layer=final_result \
    --image=/path/to/new_image.jpg

Результатом будет ответ вроде:

Код: Выделить всё

messy 0.894276
clean 0.105724

В данном случае нейросеть пришла к выводу, что в комнате срач.
Утаскиваем значения в МДМ.

**5. TEIL FÜNF. KAPITULIREN**

Собственно у меня пока один вопрос, как утащить МДМ результат работы скрипта.

Re: IP камера, нейросеть und оrdnung

Добавлено: Ср окт 10, 2018 6:52 am
directman66
Это круто! Самое простое - можно get запросом присводить значение какой-либо переменной. Смотрите примеры в базе знаний https://kb.smartliving.ru/http-ssilki-d ... majordomo/

Re: IP камера, нейросеть und оrdnung

Добавлено: Ср окт 10, 2018 11:43 am
smart_g
C_3AXAPOB писал(а):
Ср окт 10, 2018 1:06 am


Собственно у меня пока один вопрос, как утащить МДМ результат работы скрипта.
Да как вариант сделать вывод последнего скрипта не стандартный вывод, а вплоть до посылки по MQTT. Это же линукс.

Re: IP камера, нейросеть und оrdnung

Добавлено: Вс окт 14, 2018 6:22 am
C_3AXAPOB
Наконец-то набрал нужное количество снапшотов для обучения.
Докладываю.
Обучал на ноуте с Core i7, время обучения ~10 минут. Общее количество использованных снапшотов 43. Разрешение каждого 1280x720. Что похоже излишне. Можно попробовать на меньшем разрешении. Размер обученной модели ~83 мегабайта.

Обученную сеть закачал на свой сервер orange pi pc+.

Время распознавания снапшота с разрешением 1280x720 25-30 секунд. Распознает хорошо.

Изображение

Re: IP камера, нейросеть und оrdnung

Добавлено: Вт окт 16, 2018 2:03 pm
ZhenyaRUS39
А не могли бы вы видео записать что и как вы делаете, как обучаете и как скармливаете результат в MD.
Очень интересная тема и практически безграничная, но входной порог высок получается, а Ваше видео бы помогло :)

Re: IP камера, нейросеть und оrdnung

Добавлено: Сб окт 20, 2018 10:39 pm
C_3AXAPOB
Я бы записал но мне жутко лень :D

В моем случае нейросеть определят встал я с кровати или нет. Если нет будильник повторяется.

Распознавание я вызываю из МДМ сриптом и из него же получаю результат.

Код: Выделить всё

$snapshot="/var/www/cms/images/".gg('Camera02.snapshot');
exec("sudo python3 /root/tensorflow/label_image.py --graph=/root/tensorflow/cam.pb --labels=/root/tensorflow/cam.txt --input_layer=Placeholder --output_layer=final_result --image=".$snapshot, $output);
$res=explode(' ', $output[0]);
sg('AlarmClock01.sleep', $res[0]);	

Re: [Модификация] Камера, нейросеть und оrdnung

Добавлено: Вс ноя 11, 2018 9:40 pm
Zaezd2008
Отличное рабочее решение. На i3 время распознавания 3 секунды, работает четко.
Дети не в восторге.... :P

Re: [Модификация] Камера, нейросеть und оrdnung

Добавлено: Пн ноя 12, 2018 3:30 pm
C_3AXAPOB
Здорово, что у вас все тоже работает. Посмотрите еще вот этот мой пост https://connect.smartliving.ru/profile/908/blog170.html
Может тоже пригодится. :)

Re: [Модификация] Камера, нейросеть und оrdnung

Добавлено: Ср ноя 28, 2018 9:21 am
Zaezd2008
Класс!А как вы ставили YOLO? Инструкцию взял https://pjreddie.com/darknet/install/, но получаю:

Код: Выделить всё

    from darkflow.net.build import TFNet
ImportError: No module named darkflow.net.build

Re: [Модификация] Камера, нейросеть und оrdnung

Добавлено: Ср ноя 28, 2018 9:46 am
C_3AXAPOB
Да конечно. Честно говоря не припомню что бы были проблемы с установкой YOLO и darknet :roll: