Bibliotekets historie går tilbake til 1912, da Riksantikvaren ble opprettet som embete. Boksamlingen som tilhørte Foreningen til norske fortidsminnesmerkers bevaring (Fortidsminneforeningen) la grunnlaget for dagens bibliotek. Samlingene ble utvidet etterhvert, spesielt på 1920-tallet da senere riksantikvar Arne Nygård-Nilssen sto for bokanskaffelsene. Den første bibliotekaren ble ansatt i 1947. På 1960-tallet mottok biblioteket en større boksamling etter tidligere riksantikvar Harry Fett.