Tras la caída en desgracia de Godoy a causa del Motín de Aranjuez en 1808, sus propiedades a punto estuvieron de ser saqueadas por la turba, por lo que se tuvo que decretar su confiscación y se procedió a realizar un inventario. Menos de una semana después, el 23 de marzo, llegó la noticia de la inminente entrada del mariscal Murat a Madrid. El ayuntamiento ofreció como alojamiento el palacio del Buen Retiro, pero el general francés prefirió alojarse en la antigua residencia de Godoy, más suntuosa y nueva. Allí permaneció durante el Dos de Mayo, cuyos disturbios empezaron a pocos metros del palacio.