Bibliotekets eldste deler stammer fra Christian IVs tid, men bygningens nåværende utseende er fra 1861. Bygningen inneholder biblioteket og en boksamling på mer enn bind. En stor del av boksamlingen utgjøres av Holbergsamlingen.