Nel 1756 l’erudito pesarese Annibale degli Abbati Olivieri (1708-1789) dona alla comunità - oltre alla sua cospicua biblioteca - una pregiata raccolta di oggetti antichi composta principalmente da materiale di scavo.Il museo nasce nel 1787 quando l’Olivieri lascia nuovamente;insieme a 20.000 volumi;una seconda importante raccolta di materiale archeologico e numismatico;datagli in parte dall’amico Giambattista Passeri.Museo e Biblioteca sono gestiti dal 1793 dalla Fondazione Oliveriana.Il museo viene aperto al pubblico;insieme alla biblioteca;il 2 maggio 1793 al piano terra di palazzo Olivieri-Machirelli (sec.XVIII).Tra il 1885 e il 1892 museo e biblioteca vengono trasferiti nell’attuale sede di via Mazza all’interno di palazzo Almerici;edificio settecentesco.