Etter konkursen ble verket overtatt av britiske kreditorer. Men som Grunnlovens «fødested» hadde den allerede fått status som et nasjonalt minnesmerke. En gruppe privatfolk med Henrik Wergeland i spissen organiserte en pengeinnsamling som gjorde at de kunne kjøpe bygningen med paviljongene og ca. 25 mål av hagen. Det var lenge uklart hvordan et «nasjonalmonument» skulle forvaltes, men 17. mai 1849 ble det stiftet et selskap med formål å skape at portrettgalleri for riksforsamlingens medlemmer. Ved gaver og innkjøp og ved statstilskudd til å få portrettert ennå gjenlevende eidsvollsmenn var det i 1864 samlet inn 65 portretter. Etter en periode med stillstand våknet interessen igjen mot slutten av 1800-tallet, og det ble nå også samlet inn portretter av andre fremstående personer fra norsk historie til et nasjonalt portrettgalleri.