Bonaparte offrit le château, qu'il avait connu et apprécié du temps du prince, à sa mère, titrée Madame, Mère de l'Empereur, à l'avènement de l'Empire en . Elle y séjourne de 1805 jusqu'en 1813. La demeure est ruinée par les troupes prussiennes lors de la Campagne de France en 1814. La mère du « souverain de l'Ile d'Elbe » revend la propriété suivant les prescriptions des traités de Chaumont, Fontainebleau et Châtillon-sur-Seine, concernant les avoirs de la dynastie impériale sur le territoire français.