L'Accademia venne fondata a Roma nel 1821 da un gruppo di musicisti dilettanti guidati dal compositore Raffaele Muti Papazzurri (1801-1858), con lo scopo di favorire l'esecuzione di musica da camera e sinfonica, o per l'esecuzione in forma di concerto di opere liriche la cui rappresentazione fosse impedita dalla censura. Sebbene già nel 1824 fosse diventata una istituzione ufficiale dello Stato Pontificio avente lo scopo di "formare allievi abili all'esercizio dei due generi di musica vocale ed istrumentale", ebbe una vita travagliata: subì una prima interruzione fra il 1849 e il 1856, per difficoltà economiche, e una seconda dal 1860 al 1870 per difficoltà politiche, in quanto numerosi accademici avevano manifestato idee liberali. Venne pertanto ricostituita una prima volta ad opera di Cesare De Sanctis (4 gennaio 1856), una seconda volta dopo Porta Pia.