はい、有効化していないプラグインは基本的に削除するようにしましょう。 プラグインがインストールされているだけで、不具合やサイトが重くなる原因になるからです。 初めから有効化されているプラグインは、よくわからなければ削除せずにそのままにしておきましょう。