Réélu député de Vendée en 1820 et 1823, les députés ultra demandèrent son exclusion le . En effet, ce jour là il prononça un discours sur l'expédition d'Espagne, dans lequel certains virent une justification de la déchéance de Louis XVI en 1792, par comparaison avec la situation du roi d'Espagne en 1823. Bien que se défendant d'un tel but, Manuel fut officiellement expulsé de la Chambre. Bravant sa déchéance, il revint le lendemain. Il prononça alors sa fameuse phrase :