Costruito nella seconda metà del Cinquecento secondo il gusto del Terribilia, l'edificio era decorato da affreschi, poi distrutti, di Nicolò dell'Abate. Si conservano invece i fregi dipinti nelle sale del piano nobile di suoi seguaci anonimi, con le storie di Didone e della Guerra di Troia.