Aunque el duque vivía de manera habitual en París, decidió construir en Madrid una gran mansión al nuevo gusto neoclásico, que encargó al arquitecto Louis Guilbert.