La costruzione del prestigioso complesso architettonico;residenza della nobile famiglia Ferretti;sede del Museo dal 1958;risale alla metà del XVI secolo.Il prospetto esterno è attribuito ad Antonio da San Gallo il Giovane;architetto civile e militare attivo ad Ancona negli anni '40 del 1500.La decorazione del piano nobile;commissionata dal conte Angelo di Girolamo Ferretti;fu realizzata dal pittore manierista Pellegrino Tibaldi e aiuti poco dopo il 1560;vennero realizzati elaborati soffitti lignei;furono affrescate le pareti del salone principale e di diversi ambienti ad esso collegati:la sala degli emblemi;la sala dei miti;la sala del labirinto.Il 3° piano presenta soffitti affrescati con grottesche;paesaggi fantastici;mostri;figure mitologiche e mascheroni nello stile romano tardo cinquecentesco (Federico Zuccari;Luzio Luzi?).Nel 1759 l'edificio originario fu ristrutturato;probabilmente su progetto di Luigi Vanvitelli;con l'ampliamento della facciata;la costruzione del balcone;del portale centrale;dello scalone d’onore e del terrazzo pensile;con portico e logge soprastanti.Tale ampliamento fu arricchito da statue e busti probabilmente della bottega anconetana di Gioacchino Varlè (1731-1806).Sempre del ‘700 le raffinatissime volte a grottesche di alcuni salottini del 3° piano.Il palazzo è stato oggetto di diversi interventi di restauro:negli anni 1928-1931 per conto della famiglia Ferretti che affidò i lavori all’architetto milanese Tornaghi;nei primi anni ’50;a seguito dei bombardamenti aerei;infine negli anni ‘70-’80;dopo il sisma anconitano del 1972.