I Frederik VIs tid ble det innredet lokaler til en stor samling av historiske malerier, særlig portretter. Greve og diplomat Marcus Gerhard Rosencrones enke Agnete Marie Hielmstierne skjenket i 1811 den store rosencroneske samling av 159 danske portretter av kjente danske personer til Frederik VI og samlingen kom til Frederiksborg slott, hvor en stor del av kongefamiliens portretter allerede var innsamlet. Samlingen var åpen for offentligheten.