MYSQL через время грузить процессор

Всё, что не подходит под вышеперечисленные разделы

Модератор: immortal

Ответить
arivano
Сообщения: 19
Зарегистрирован: Пт авг 05, 2016 5:13 pm
Благодарил (а): 5 раз
Поблагодарили: 1 раз

MYSQL через время грузить процессор

Сообщение arivano » Ср ноя 08, 2017 5:13 pm

Появилась проблема пару месяцев назад, но, т.к. нахожусь далеко от системы, а организованный удаленный доступ не всегда работает, только добрался до самой системы через ssh.
Система стоит на нэттопе с процессором Intel (что-то не особо сильное) с 2Гб оперативки и винт SSD на 32 Гб. Система Debian.
По команде top наблюдалась большая нагрузка на процессор процессом mysql. Были запущены проверки всех баз и таблиц в базах, вычищена таблица phystory_queue в силу проблем в содержимом. После внесены некоторые изменения в my.cnf, а именно:
закомментировано nice=0
в секции mysqld:
max_allowed_packet=64M
table_cache=640

Данные перенастройки, может и помогли, т.к. после перезапуска mysql по команде top все выглядело прекрасно.
Через час-два наблюдалось небольшое притормаживание, но, в целом, система работала нормально.
Команда show full processlist, запущенная в консоли mysql показала список из 15 строк.
Сейчас же (уже 4 часа с перезапуска прошло) по вышеуказанно команде возвращается список из 44 строк, процесс mysql снова значительно нагружает процессор (36-45%%).
В большинстве из этих строк в столбике Command указано Sleep, что наталкивает на мысль, что зависают эти запросы к базе, вернее, не происходит, почему-то, разрыв соединения.
При этом начинают возникать ошибки по таймайту обращения к mysql, Алиса начинает заикаться при произношении времени ежечасно, а иногда пытается сделать это несколько раз подряд. Т.е., тупит система.
Подскажите, пожалуйста, что посмотреть, что поменять, из-за чего могут быть такие "глюки".
Обновления majordomo на систему поставлены все буквально вчера.
arivano
Сообщения: 19
Зарегистрирован: Пт авг 05, 2016 5:13 pm
Благодарил (а): 5 раз
Поблагодарили: 1 раз

Re: MYSQL через время грузить процессор

Сообщение arivano » Чт ноя 09, 2017 8:38 am

В общем, в списке строк по команде "show full processlist", было много строк со значением в столбце "State" "Waiting for table level lock". Судя по информации из интернета проблема в том, что движок таблиц MyISAM. А, там, где частые обращения к таблице, лучше использовать InnoDB. Несколько таблиц, у которых было большое количество записей (более 1000) конвертировал в InnoDB запросом "ALTER TABLE 'table_name' ENGINE=InnoDB". На утро ответ команды "show full processlist" дал 80 строк, т.е. что-то еще подвисает. Судя по строкам, теперь висят несколько процессов со статусом "Updating".
evilviva
Сообщения: 39
Зарегистрирован: Пт июл 28, 2017 9:54 pm
Благодарил (а): 2 раза
Поблагодарили: 4 раза

Re: MYSQL через время грузить процессор

Сообщение evilviva » Чт ноя 09, 2017 9:43 am

параметры можете показать?
wait_timeout
max_connections
interactive_timeout
arivano
Сообщения: 19
Зарегистрирован: Пт авг 05, 2016 5:13 pm
Благодарил (а): 5 раз
Поблагодарили: 1 раз

Re: MYSQL через время грузить процессор

Сообщение arivano » Чт ноя 09, 2017 10:25 am

evilviva писал(а):параметры можете показать?
wait_timeout
max_connections
interactive_timeout
Да, конечно. Пожалуйста:
wait_timeout = 600
max_connections = 100 - закоментирован
interactive_timeout отсутствует.
arivano
Сообщения: 19
Зарегистрирован: Пт авг 05, 2016 5:13 pm
Благодарил (а): 5 раз
Поблагодарили: 1 раз

Re: MYSQL через время грузить процессор

Сообщение arivano » Чт ноя 09, 2017 10:31 am

Вот весь my.cnf
Вдруг там еще что-то можно подправить.

Код: Выделить всё

#
# The MySQL database server configuration file.
#
# You can copy this to one of:
# - "/etc/mysql/my.cnf" to set global options,
# - "~/.my.cnf" to set user-specific options.
# 
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

# This will be passed to all mysql clients
# It has been reported that passwords should be enclosed with ticks/quotes
# escpecially if they contain "#" chars...
# Remember to edit /etc/mysql/debian.cnf when changing the socket location.
[client]
port        = 3306
socket        = /var/run/mysqld/mysqld.sock

# Here is entries for some specific programs
# The following values assume you have at least 32M ram

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket        = /var/run/mysqld/mysqld.sock
#nice        = 0

[mysqld]
#
# * Basic Settings
#
user        = mysql
pid-file    = /var/run/mysqld/mysqld.pid
socket        = /var/run/mysqld/mysqld.sock
port        = 3306
basedir        = /usr
datadir        = /var/lib/mysql
tmpdir        = /tmp
lc-messages-dir    = /usr/share/mysql
skip-external-locking
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address        = 127.0.0.1
#
# * Fine Tuning
#
key_buffer        = 16M
max_allowed_packet    = 64M
thread_stack        = 192K
thread_cache_size       = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover         = BACKUP
#max_connections        = 100
table_cache            = 640
#thread_concurrency     = 10
#
# * Query Cache Configuration
#
query_cache_limit    = 1M
query_cache_size        = 16M
wait_timeout = 600
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file        = /var/log/mysql/mysql.log
#general_log             = 1
#
# Error log - should be very few entries.
#
log_error = /var/log/mysql/error.log
#
# Here you can see queries with especially long duration
#slow_query_log_file = /var/log/mysql/mysql-slow.log
#slow_query_log      = 1
#long_query_time = 2
#log_queries_not_using_indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id        = 1
#log_bin            = /var/log/mysql/mysql-bin.log
expire_logs_days    = 10
max_binlog_size         = 50M
#binlog_do_db        = include_database_name
#binlog_ignore_db    = include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem



[mysqldump]
quick
quote-names
max_allowed_packet    = 16M

[mysql]
#no-auto-rehash    # faster start of mysql but no tab completition

[isamchk]
key_buffer        = 16M

#
# * IMPORTANT: Additional settings that can override those from this file!
#   The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/
 
Stor
Сообщения: 133
Зарегистрирован: Ср окт 31, 2018 11:45 pm
Благодарил (а): 8 раз
Поблагодарили: 4 раза

Re: MYSQL через время грузить процессор

Сообщение Stor » Вс мар 10, 2019 6:32 pm

Заметил, что у меня тоже мускуль стал отжирать много процессора:
img.jpg
img.jpg (559.29 КБ) 4906 просмотров
Также в phpmyadmin много процессов со статусом sleep:
phpmyadmin.jpg
phpmyadmin.jpg (265.12 КБ) 4906 просмотров
А также советчик в phpmy admin предлагает много советов:
phpmyadmin2.jpg
phpmyadmin2.jpg (540.56 КБ) 4906 просмотров
Мой конфиг /etc/mysql/mariadb.conf.d/50-server.cnf

Код: Выделить всё

#
# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see
#
# See the examples of server my.cnf files in /usr/share/mysql/
#

# this is read by the standalone daemon and embedded servers
[server]

# this is only for the mysqld standalone daemon
[mysqld]

#
# * Basic Settings
#
user		= mysql
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
port		= 3306
basedir		= /usr
datadir		= /var/lib/mysql
tmpdir		= /tmp
lc-messages-dir	= /usr/share/mysql
skip-external-locking

# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address		= 127.0.0.1

#
# * Fine Tuning
#
key_buffer_size		= 200M
max_allowed_packet	= 16M
thread_stack		= 192K
thread_cache_size       = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam_recover_options  = BACKUP
max_connections        = 300
table_cache             = 1024
#thread_concurrency     = 10

#
# * Query Cache Configuration
#
query_cache_limit	= 10M
query_cache_size        = 150M

#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
general_log_file        = /var/log/mysql/mysql.log
general_log             = 1
#
# Error log - should be very few entries.
#
log_error = /var/log/mysql/error.log
#
# Enable the slow query log to see queries with especially long duration
slow_query_log_file	= /var/log/mysql/mariadb-slow.log
long_query_time = 10
#log_slow_rate_limit	= 1000
#log_slow_verbosity	= query_plan
log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id		= 1
#log_bin			= /var/log/mysql/mysql-bin.log
expire_logs_days	= 10
max_binlog_size   = 100M
#binlog_do_db		= include_database_name
#binlog_ignore_db	= exclude_database_name

#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!

innodb_flush_log_at_trx_commit = 2
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates you can use for example the GUI tool "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem
#
# Accept only connections using the latest and most secure TLS protocol version.
# ..when MariaDB is compiled with OpenSSL:
# ssl-cipher=TLSv1.2
# ..when MariaDB is compiled with YaSSL (default in Debian):
# ssl=on

#
# * Character sets
#
# MySQL/MariaDB default is Latin1, but in Debian we rather default to the full
# utf8 4-byte character set. See also client.cnf
#
character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci

#
# * Unix socket authentication plugin is built-in since 10.0.22-6
#
# Needed so the root database user can authenticate without a password but
# only when running as the unix root user.
#
# Also available for other users if required.
# See https://mariadb.com/kb/en/unix_socket-authentication-plugin/

# this is only for embedded server
[embedded]

# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]

# This group is only read by MariaDB-10.1 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand
[mariadb-10.1]
Мое железо - orange pi prime (armbian - 4.19.20-sunxi64 #5.75 SMP Fri Feb 8 10:29:25 CET 2019 aarch64 GNU/Linux)

Uptime:

Код: Выделить всё

 18:39:56 up  3:44,  1 user,  load average: 0.22, 0.19, 0.24

Подскажите:
1. Я так понял что sleep процессы появляются из-за скриптов php, которые не закрывают sql вызовы - может где сто нужно поправить или минимизировать время connection ?
2. Какие советы советчика нужно выполнить?
3. Может у кого-нибудь есть готовый проверенный конфиг мускуля под мажордомо?
Stor
Сообщения: 133
Зарегистрирован: Ср окт 31, 2018 11:45 pm
Благодарил (а): 8 раз
Поблагодарили: 4 раза

Re: MYSQL через время грузить процессор

Сообщение Stor » Вт апр 09, 2019 11:02 pm

Уважаемые форумчане, будут ли у кого-нибудь советы на этот счет?

Читал, что зависшие процессы sleep можно убивать скриптом через kill - стоит ли оно того?
Ответить