Mientras tanto, Fernando VII vio cómo el emperador ni siquiera se molestaba en cumplir su acuerdo e internaba al antiguo soberano, junto con su hermano Carlos María Isidro y su tío Antonio Pascual, en el castillo de Valençay, propiedad de Charles Maurice de Talleyrand, Príncipe de Benevento, antiguo obispo, entonces ministro de Asuntos Exteriores de Napoleón, con el que tramó el golpe de Estado que lo llevó al poder.