[РЕШЕНО] Повторяющиеся данные в БД и их запись.

Использование системы в различных ситуациях, вопросы программирования сценариев.

Модератор: immortal

ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение ksv » Вт июл 24, 2018 3:39 pm

хм, вот не понял сейчас.
чего однобоко?
то есть такое поведение - писать по два раза подряд одно и то же - считается нормальным и с этим ничего не сделать?
Logrus
Сообщения: 2084
Зарегистрирован: Пт апр 07, 2017 12:20 pm
Благодарил (а): 313 раз
Поблагодарили: 457 раз

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение Logrus » Вт июл 24, 2018 3:42 pm

у ВАС опрос раз в 10 сек. ХУЕВЫЕ датчики у которых показания плывут и т.д.
Telegram | Блог
Raspberry Pi3, с образа от Сергея 3.31, PHP 7, флешка 16 Гб работает с 10.09.2017
Почти всё время уходит на исправление ошибок, оставшееся - на их повторение. (с) ))) Спасибо
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение ksv » Вт июл 24, 2018 3:49 pm

Опрос 10 сек - это просто текущий тест, для более быстрого набора данных.
У меня еще нет никакой боевой системы, я изучаю и настраиваю пустышку, прикрутив три датчика.
И причём тут датчики вообще? Не важно какой источник данных, хуёвый или пиздатый, важно что в БД пишется.
А пишутся повторы - вот факт.
Или хотите сказать, что интервал в 10 сек на что-то повлиял? Ок, сейчас минуту сделаю и погляжу.
Датчики, кстати ds18b20, пиздатее не бывает.
Logrus
Сообщения: 2084
Зарегистрирован: Пт апр 07, 2017 12:20 pm
Благодарил (а): 313 раз
Поблагодарили: 457 раз

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение Logrus » Вт июл 24, 2018 3:52 pm

последний ответ в данной ветке (и наверное от форума отдохну)
если тест поставьте минуту и проверьте ))) (ds18b20 я б еще посмотрел как в прошивке он опрашивается, так к слову ))) )
За это сообщение автора Logrus поблагодарил:
ksv (Вт июл 24, 2018 4:07 pm)
Рейтинг: 1.16%
Telegram | Блог
Raspberry Pi3, с образа от Сергея 3.31, PHP 7, флешка 16 Гб работает с 10.09.2017
Почти всё время уходит на исправление ошибок, оставшееся - на их повторение. (с) ))) Спасибо
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение fandaymon » Вт июл 24, 2018 4:07 pm

ksv писал(а):
Вт июл 24, 2018 3:49 pm
И причём тут датчики вообще? Не важно какой источник данных, хуёвый или пиздатый, важно что в БД пишется.
А пишутся повторы - вот факт.
В базу пишется то, что приходит, поэтому датчики очень даже при чём. Чем считываются, что формирует отправку данных в мажордомо, как именно эти данных в мажордомо попадают....
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение ksv » Вт июл 24, 2018 4:13 pm

Да, всё решилось, окольными путями и интуицией, но постигли истину, спасибо.
Оказалось, что интервал опроса у меня вообще стоял 5 сек, а реальную частоту опроса датчиков owserver делает не менее 20 сек (проверял осциллографом на шине), и это не изменить (или я не знаю как). Вот видимо где-то в недрах системы шарики за ролики и заскакивали.

Сделал минуту - теперь всё хорошо, дубликатов нет, всё как положено.

fandaymon писал(а):
Вт июл 24, 2018 4:07 pm
Чем считываются, что формирует отправку данных в мажордомо, как именно эти данных в мажордомо попадают....
Известно чем считываются - owserver'ом. Не важно как они попадают в mjd. Есть БД mySQL, и в эту БД данных заносит mjd. А вот как реализовано исключение повторяющихся данных - средствами mjd или mysql - это мне неизвестно. Однако факт остался фактом - систему можно загнать потоком данных так, что повторяющиеся данные будут записываться в БД, хотя и не должны. Вывод - некачественная реализация метода исключения повторов.
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение ksv » Вт июл 24, 2018 4:45 pm

Ан нет, рано радовался.
Повторов нет только если за интервал (за минуту) данные изменились, тогда ок.
А когда данные не меняются, то всё равно пишется два одинаковых значения - на начало и на конец неизменного периода.
Ну НАХРЕНА это надо делать? Бред какой-то...
Вложения
dbl.PNG
dbl.PNG (77.18 КБ) 3424 просмотра
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение fandaymon » Вт июл 24, 2018 5:32 pm

ksv писал(а):
Вт июл 24, 2018 4:45 pm
Ан нет, рано радовался.
Повторов нет только если за интервал (за минуту) данные изменились, тогда ок.
А когда данные не меняются, то всё равно пишется два одинаковых значения - на начало и на конец неизменного периода.
Ну НАХРЕНА это надо делать? Бред какой-то...
Что-то мне кажется это у вас в голове каша... Именно так и надо - в случае какого-то отрезка с неизменными данными, запоминаются не все временные точки, а только точки начала и конца, т.е. никакая информация не теряется, так как координаты концов однозначно дают сам отрезок
ksv
Сообщения: 102
Зарегистрирован: Вт июл 17, 2018 10:19 am
Благодарил (а): 23 раза
Поблагодарили: 4 раза

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение ksv » Вт июл 24, 2018 6:38 pm

Ну уж нет, это у Вас каша, извините, раз не понимаете бесполезности этих повторов. У меня в этом вопросе ясность полная, я с объемными данными работаю давно и много (не в mjd, разумеется), и с графиками в том числе.

Нет ровно никакой информативности в записи повторяющихся данных в конце периода этих самых неизменяющихся данных. Сам факт новой записи с новыми данными и говорит о конце этого предыдущего периода. То есть отрезок и без этого повтора однозначно определяется по двум записям в БД с РАЗЛИЧАЮЩИМИСЯ данными. Повтор данных - это явная избыточность. Вообще-то это настолько очевидная вещь, что я несколько растерян, как это вообще можно не понимать. Хорошо, обращусь к Сергею с этим вопросом, зачем так сделано. Уверен, что логичное объяснение будет.
skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: [РЕШЕНО] Повторяющиеся данные в БД и их запись.

Сообщение skysilver » Вт июл 24, 2018 9:44 pm

ksv писал(а):
Вт июл 24, 2018 6:38 pm
Повтор данных - это явная избыточность.
Почему избыточность? Если температура не менялась в промежутке времени, то на графике это будет горизонтальная линия. А чтобы ее нарисовать нужно минимум две координаты, у которых y1 и y2, разумеется, будут равны. 2 значения - это самый минимум, а не избыточность. Всю избыточность, которая между имела место быть между y1 и y2, система удаляет, оставляя лишь два крайних одинаковых значения.

Не нравится такое поведение, тогда фильтруйте данные от датчиков до их записи в свойства объектов, через метод, например.
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
Ответить