Mientras fue su principal residencia, el palacio albergó una fabulosa colección de cuadros, que incluía dos obras maestras procedentes de la Casa de Alba: "La Venus del espejo" de Diego Velázquez y "La educación de Cupido" de Correggio; así como emblemáticas pinturas de Goya como "La maja desnuda" y "La maja vestida." Francisco de Goya también pintó por encargo de Godoy cuatro pinturas alegóricas de formato circular, una de estas se perdió, pero las restantes tres, alegorías de "La Pesca", "La Agricultura" y "La Industria," se conservan en el Museo del Prado.