En 1762 Francisco Javier Everardo-Tilly, I Marqués de Casa Tilly, por entonces Capitán de Navío, compró al Conde de Fernán Nuñez una Casa Palacio, sobre cuyo solar y otros colindantes mandó construir su casa palacio (firmó un convenio con el maestro de obras Antonio Barea) en consonancia con la elevada clase social a la que pertenecía.