Вопрос: Оптимизация mysql 8.0.15 only innodb под 400млн запросов в сутки?

Лучший ответ:
Перестаньте выкручивать значения до неимоверных величин не разбираясь, на что это вообще влияет.read_buffer_size = 196M
read_rnd_buffer_size = 196M
https://www.percona.com/blog/2007/09/17/mysql-what...sort_buffer_size = 196M
innodb_sort_buffer_size = 64M
https://www.percona.com/blog/2007/08/18/how-fast-c...
Если коротко, то там написано, что нужно тестировать конкретно ваши запросы на конкретно ваших данных с разными значениями sort_buffer, чтобы найти оптимальное значение. Внезапно оно может оказаться очень небольшим.join_buffer_size = 32M
On Linux, there are thresholds of 256KB and 2MB where larger values may significantly slow down memory allocation, so you should consider staying below one of those values. Experiment to find the best value for your workload
https://dev.mysql.com/doc/refman/8.0/en/server-sys...max_heap_table_size = 1024M
tmp_table_size = 16384M
https://dev.mysql.com/doc/refman/8.0/en/server-sys...
https://dev.mysql.com/doc/refman/8.0/en/internal-t... - тут написано при каких условиях временные таблицы на диске будут создаваться вне зависимости от того, на сколько вы выкрутите tmp_table_sizemax_user_connections = 6000
max_connections = 18000
Мне кажется это дичь и вам надо на порядок меньше подключений, но тут надо подождать вывода mysqltuner.На сколько нормальным решением делать бэкап через mysqldump с quick и без блокировки на сервак морды каждые 2 часа
Раз уж у вас все таблицы innodb, то стоит посмотреть в сторону xtrabackup

Худший ответ:
всё таки удалось добить как надо и заставить хавать все потоки и всю ОЗУ. 
Рабочий действущий конфиг:spoiler[client]
port		= 3306
socket		= /var/run/mysqld/mysql.sock
default-character-set = utf8mb4

[mysqld_safe]
socket		= /var/run/mysqld/mysql.sock
nice		= 0

[mysqld]
sql-mode="NO_ENGINE_SUBSTITUTION"
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysql.sock
datadir		= /var/lib/mysql
log-error	= /var/log/mysql/error.log
port		= 3306
tmpdir      = /dev/shm
basedir		= /usr
user		= mysql
skip-external-locking
skip-log-bin
skip_name_resolve
connect_timeout = 80
interactive_timeout = 80
wait_timeout = 80
net_write_timeout = 80
join_buffer_size = 32M
max_connect_errors = 30
max_allowed_packet = 64M
table_open_cache = 8192
thread_stack = 384K
thread_cache_size = 500
max_connections = 3000
net_buffer_length = 96K
max_heap_table_size = 1024M
tmp_table_size = 16384M
read_buffer_size = 196M
sort_buffer_size = 196M
read_rnd_buffer_size = 196M
#default_authentication_plugin = mysql_native_password
#validate_password.check_user_name=OFF
#validate_password.dictionary_file=0
#validate_password.length=0
#validate_password.mixed_case_count=0
#validate_password.number_count=0
#validate_password.policy=LOW
#validate_password.special_char_count=0
net_read_timeout=500
max_binlog_size         = 100M
log_error = /var/log/mysql/mysql_errornew.log
log_slave_updates = OFF
innodb_log_compressed_pages = OFF
sync_binlog = 0
innodb_autoinc_lock_mode = 2
innodb_buffer_pool_size = 32768M
innodb_log_file_size = 4096M
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 2
innodb_buffer_pool_instances = 16
innodb_buffer_pool_chunk_size = 256M
innodb_flush_method = O_DIRECT_NO_FSYNC
innodb_stats_on_metadata = 0
innodb_log_spin_cpu_abs_lwm = 80
innodb_log_spin_cpu_pct_hwm = 50
innodb_log_wait_for_flush_spin_hwm = 400
innodb_parallel_read_threads = 4
innodb_open_files =	65536
innodb_sort_buffer_size = 64M
innodb_read_io_threads = 8
innodb_write_io_threads = 8
innodb_io_capacity = 1000
innodb_doublewrite = 0
innodb_page_cleaners = 16
innodb_lock_wait_timeout = 80
character-set-server=utf8mb4
collation-server=utf8mb4_0900_ai_ci
init-connect="SET NAMES utf8mb4"
skip-character-set-client-handshake
[mysqldump]
quick
quote-names
max_allowed_packet	= 64M
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[isamchk]
key_buffer=512M
sort_buffer=512M
read_buffer=512M
write_buffer=512M