Det gikk ikke lang tid før det ble trangt om plassen på slottet og i 1665 la man ned grunnstenen til en 3-etasjes bygning rett vest for Københavns slott. Førsteetasje skulle inneholde arsenal, andre etasje bibliotek og øverst kunstkammeret. Tingene ble antakelig flyttet over i perioden 1670–80. Bygningen finnes fremdeles og benyttes i dag av Rigsarkivet. Overflyttingen til den nye bygningen innebar også at alle kunne bestille en omvisning hos kunstkammerforvalteren, mot betaling. Kongen hadde sin egen lønngang til kunstkammeret og i forbindelse med byggingen av det første Christiansborg oppførte man i 1740–43 en lønngang direkte fra slottet til kunstkammerbygningens vestlige del, som stadig finnes i dag.