Oui, sans hésiter, je vous recommande de le faire.
En effet, pour sécuriser au mieux votre site Web et garder votre console d'administration le plus propre possible, je vous conseille de supprimer les plugins inactifs.
Par contre, assurez-vous bien de ne pas supprimer une extension que vous avez désactivée temporairement pour une raison spécifique.