ようやく高速化の為のプラグインを停止させました。
穴だらけだったような気がします。(´・ω・｀)
重要な設定が無くなったり、リセットされたりと調べてみると非常に多い。
そこですべての設定を見直してみた。
以下を、IP制限は増え続けていますが安定してます。
.htaccess　に既述するとけこう早くなりますね。

# ETags(Configure entity tags) を無視する設定

Header unset ETag

FileETag None

# Enable Keep-Alive を設定

Header set Connection keep-alive

# MIME Type 追加

AddType image/x-icon .ico
AddType image/svg+xml .svg
AddType application/x-font-ttf .ttf
AddType application/x-font-woff .woff
AddType application/x-font-opentype .otf
AddType application/vnd.ms-fontobject .eot

#ディレクトリの参照を防止
Options -Indexes
#スクリプトインジェクションを防ぐ
Options +FollowSymLinks

# プロクシキャッシュの設定（画像とフォントをキャッシュ）


Header set Cache-Control “max-age=604800, public”

# CACHE media files for 12hours

Header set Cache-Control “max-age=43200”

#.htaccessファイルの保護

order allow,deny
deny from all
satisfy all

#wp-config.phpファイルの保護

order allow,deny
deny from all

# ブラウザキャッシュの設定


ExpiresActive On

# キャッシュ初期化（1秒に設定）
ExpiresDefault “access plus 1 seconds”

# MIME Type ごとの設定
ExpiresByType text/css “access plus 1 weeks”
ExpiresByType text/js “access plus 1 weeks”
ExpiresByType text/javascript “access plus 1 weeks”
ExpiresByType image/gif “access plus 1 weeks”
ExpiresByType image/jpeg “access plus 1 weeks”
ExpiresByType image/png “access plus 1 weeks”
ExpiresByType image/svg+xml “access plus 1 year”
ExpiresByType application/pdf “access plus 1 weeks”
ExpiresByType application/javascript “access plus 1 weeks”
ExpiresByType application/x-javascript “access plus 1 weeks”
ExpiresByType application/x-shockwave-flash “access plus 1 weeks”
ExpiresByType application/x-font-ttf “access plus 1 year”
ExpiresByType application/x-font-woff “access plus 1 year”
ExpiresByType application/x-font-opentype “access plus 1 year”
ExpiresByType application/vnd.ms-fontobject “access plus 1 year”

# Gzip圧縮の設定

SetOutputFilter DEFLATE

# 古いブラウザでは無効
BrowserMatch ^Mozilla/4\.0[678] no-gzip
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch \bMSIE\s(7|8) !no-gzip !gzip-only-text/html

# 画像など圧縮済みのコンテンツは再圧縮しない
SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png|ico)$ no-gzip dont-vary
# プロクシサーバーが間違ったコンテンツを配布しないようにする
Header append Vary Accept-Encoding env=!dont-vary

AddOutputFilterByType DEFLATE text/plain
AddOutputFilterByType DEFLATE text/html
AddOutputFilterByType DEFLATE text/xml
AddOutputFilterByType DEFLATE text/css
AddOutputFilterByType DEFLATE text/js
AddOutputFilterByType DEFLATE image/svg+xml
AddOutputFilterByType DEFLATE application/xml
AddOutputFilterByType DEFLATE application/xhtml+xml
AddOutputFilterByType DEFLATE application/rss+xml
AddOutputFilterByType DEFLATE application/atom_xml
AddOutputFilterByType DEFLATE application/javascript
AddOutputFilterByType DEFLATE application/x-javascript
AddOutputFilterByType DEFLATE application/x-httpd-php
AddOutputFilterByType DEFLATE application/x-font-ttf
AddOutputFilterByType DEFLATE application/x-font-woff
AddOutputFilterByType DEFLATE application/x-font-opentype
AddOutputFilterByType DEFLATE application/vnd.ms-fontobject

#ココからは制限です

Order allow,deny
deny from
Allow from all

#この後には更新に変更されるので注意
# BEGIN WordPress

# END WordPress