Samlingen har verker fra 1400-årene og frem til i dag, men grunnlaget for selve samling ble etablert på Christian IIs tid i starten av 1500-årene.