En 1816, al inicio de la Restauración, Luis XVIII lo intercambió por el Palacio del Elíseo con Batilde de Orleans, duquesa de Borbón, quien lo cedió a una comunidad religiosa hasta su fallecimiento en 1822.