El edificio, cuya fábrica original fue realizada por Antonio López Aguado, arquitecto de la familia ducal, y ha sido fechada tentativamente en la última década del siglo XVIII, fue luego reconstruido y ampliado, con fachada de nueva fábrica, por el hijo del anterior, el arquitecto Martín López Aguado, hacia 1847 para Nicolás Osorio y Zayas, XV duque de Alburquerque y duque de Fernán Núñez.