A mediados del siglo XVIII, el solar del actual museo (que incluía varias casas y amplios huertos hasta el actual Banco de España) fue adquirido por la duquesa de Atri, quien se casó en secreto con Alessando Picco della Mirandola, hijo ilegítimo de la conocida saga italiana.