I 1852 flyttet samlingen inn i de nye bygningene i Karl Johans gate, men plassmangelen ble raskt påtrengende. Samlingene ble stablet inn i ledige rom, kott og avlukker i Domus Academica. I 1867 grov Rygh ut «Tuneskipet», som i 1880 fikk selskap med «Gokstadskipet» i skur bak Universitetet. Forholdene var klart uholdbare, og man gikk med planer om et eget bygg til samlingene. I 1897 bevilget Stortinget de første midlene til utbygging. Det nåværende Historisk Museum sto ferdig i 1902, men da var Rygh borte. Han døde under feltarbeid i Telemark i 1899. Det var derfor etterfølgeren Gabriel Gustafson som fikk innvie det nye museet. To år senere fikk han æren av å grave ut Osebergfunnet. «Osebergskipet» ble satt sammen med de to andre i Universitetshagen, og prakt- og bruksgjenstandene ble etter hvert som de ble ferdig konservert, satt opp i en egen sal i museets annen etasje. Da gikk han allerede med ideen om et nytt bygg på Bygdøy, der vikingskipene skulle være sentrum i noe som skulle være et eget norsk historisk nasjonalmuseum. Gustafson fikk finansiert grunnarbeider til et bygg på Bygdøy, tegnet av arkitekt Arnstein Arneberg, som skulle huse vikingskipene. Dette bygget, det nåværende Vikingskipshuset, var imidlertid ment å være første trinn av et større anlegg som skulle romme hele Universitetets Oldsaksamling.