[Модуль] Optimizer (optimizer)

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

smoker_vvo
Сообщения: 113
Зарегистрирован: Пт дек 14, 2012 3:46 am
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Модуль Optimizer

Сообщение smoker_vvo » Пт мар 11, 2016 1:43 pm

обновился сейчас, вопрос снят, что то написал..... всего лишь на 800 тыс.
smoker_vvo
Сообщения: 113
Зарегистрирован: Пт дек 14, 2012 3:46 am
Благодарил (а): 2 раза
Поблагодарили: 1 раз

Re: Модуль Optimizer

Сообщение smoker_vvo » Сб мар 12, 2016 12:54 am

Проблемы продолжаются.... При анализе находит около 800 тыс записей, запускаем оптимизацию и DONE! выскакивает через пару секунд. При очередном анализе - количество записей не изменилось. Но если добавлять какой то один параметр - работает.

sensorT7 (tempSensors.temp)
removing old (60)
Before last MONTH
Value ID: 141
Interval from 2016-02-10 00:59:07 to 2016-02-11 07:43:45 (every 7200 seconds)
Total values: 31
Optimizing (should be about 15 records)... . . . . . . . . . . . . . . . . Done (removed: 32)

Before last WEEK
Value ID: 141
Interval from 2016-02-11 07:43:46 to 2016-03-05 07:44:23 (every 3600 seconds)
Total values: 888
Optimizing (should be about 552 records)... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Аватара пользователя
sergejey
Site Admin
Сообщения: 4284
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Благодарил (а): 75 раз
Поблагодарили: 1559 раз
Контактная информация:

Re: Модуль Optimizer

Сообщение sergejey » Пн мар 14, 2016 10:15 am

Попробуйте по одному добавлять параметры для оптимизации.

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
NightRider
Сообщения: 70
Зарегистрирован: Пт авг 21, 2015 2:27 pm
Благодарил (а): 8 раз
Поблагодарили: 4 раза

Re: Модуль Optimizer

Сообщение NightRider » Вт мар 22, 2016 11:41 am

Модуль то что надо!
Пожелания, если можно:
- Добавить группировку иерархическую, чтобы можно было разворачивать классы, объекты и свойства (на крайняк хотя бы отдельные колоночки и возможность сортировки по ним)
- Возможность удаления истории вручную по кнопке, для выбранного свойства объекта
- По-хорошему, конечно, возможность управления настройками сохранения (Хранить историю), в одном месте. А так при настройке оптимизации приходится лазить в объекты, смотреть как настроено. Ну а по-плохому)) хотя бы информативно вывести, без возможности изменения свойства "Хранить историю".
За это сообщение автора NightRider поблагодарил:
EvgenyG (Вс окт 23, 2016 12:06 pm)
Рейтинг: 1.16%
Anton_kulibin
Сообщения: 354
Зарегистрирован: Вт окт 09, 2012 8:05 am
Откуда: Луза Кировская обл. Россия
Благодарил (а): 20 раз
Поблагодарили: 34 раза

Re: Модуль Optimizer

Сообщение Anton_kulibin » Пт июн 03, 2016 1:28 pm

Подскажите с оптимайзером. Есть свойство объекта которое обновляется каждую минуту, но толи оптимайзер не дает сохранять каждое значение, т.е. мне надо чтобы все значения сохранялись внезависимости одинаковые они были или нет
2016-06-03_13-23-13.png
2016-06-03_13-23-13.png (6.09 КБ) 7124 просмотра
Поставил модуль Optimizer и добавил свойство класса.
2016-06-03_13-20-57.png
2016-06-03_13-20-57.png (9.83 КБ) 7124 просмотра
Но что-то все равно данные урезаются.
Linux версия. Ubuntu Server 16.04+2xArduinoMega+Eth_GW_Mysensors_10node+WeatherStation+Xiaomi
CONNECT
Аватара пользователя
nightwind
Сообщения: 333
Зарегистрирован: Вс июн 26, 2016 4:42 pm
Откуда: Барановичи
Благодарил (а): 28 раз
Поблагодарили: 52 раза
Контактная информация:

Re: Модуль Optimizer

Сообщение nightwind » Вс июн 26, 2016 4:59 pm

Господа, в чем смысл магических слов OPTIMIZE:
None AVG MAX SUM
что среднее, сумма чего? и как это связано с оптимизацией?
в коде с первого взгляда не понял)
Аватара пользователя
nightwind
Сообщения: 333
Зарегистрирован: Вс июн 26, 2016 4:42 pm
Откуда: Барановичи
Благодарил (а): 28 раз
Поблагодарили: 52 раза
Контактная информация:

Re: Модуль Optimizer

Сообщение nightwind » Вс июн 26, 2016 10:47 pm

Optimizing (should be about *** records)... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
и поломал таблицу с данными истории. ауторипэйр не вышел, пришлось из бэкапа брать. больше не буду проболвать, там всей базы 4 мегабайт
Аватара пользователя
xor
Сообщения: 2038
Зарегистрирован: Сб ноя 22, 2014 8:45 pm
Благодарил (а): 284 раза
Поблагодарили: 629 раз

Re: Модуль Optimizer

Сообщение xor » Сб авг 13, 2016 12:08 am

Добрый день!
Правильно ли я понимаю, что Оптимайзер при своей работе оставляет последнее по времени значение из равных? То есть, фиксирует время окончания процесса, а не начала?
Если это так, мне кажется это неправильным.
У меня в объектах Rooms есть Подвал с термодатчиком (хранить температуру 365 дней - общая настройка для температуры Rooms).
В Подвале стабильная температура - очень медленно меняется на десятую градуса раз в неск. дней.
И после работы Оптимайзера я теряю историю температуры в Подвале:

Изображение
Картинка:https://yadi.sk/i/mpOPBYnquBEt6
Да и вообще, интереснее видеть в истории время начала чего-либо (достижения значения), а не конца.
EvgenyG
Сообщения: 217
Зарегистрирован: Вт июл 21, 2015 4:59 pm
Откуда: Москва
Благодарил (а): 56 раз
Поблагодарили: 1 раз

Re: Модуль Optimizer

Сообщение EvgenyG » Вт сен 27, 2016 8:53 pm

Насколько необходимо оптимизировать данные?
Например, у меня 30000 "показаний" датчика температуры.
Хорошо это или плохо, как влияет на систему?
MDM Raspberry Pi 3b, esp32, ModBUS, esp8266, NooLite(MTRF-64-USB, SU-1-***, SLF-1-300, PM112, радиопульты PU)
ipz
Сообщения: 238
Зарегистрирован: Чт ноя 26, 2015 10:54 pm
Благодарил (а): 38 раз
Поблагодарили: 45 раз

Re: Модуль Optimizer

Сообщение ipz » Ср сен 28, 2016 8:42 pm

Если все устраивает, то можно и не оптимизировать...
Мой собственный список проблем, из-за которых пришлось обратить внимание на оптимизацию:
- периодические сообщения, что к.л. цикл остановлен (никаких видимых причин для этого не обнаруживается);
- регулярные сообщения в модуле MySensor Expire send set rollback (т.е. данные не переданы в сеть датчиков).

Железо Rp3, оптимальное количество записей в истории (по данным модуля Optimiser) до 30 000. Всего. При количестве записей ~60 000 начинаются тормоза и вышеописанные глюки.
Ответить