Alle disse aktivitetene måtte imidlertid vike da kunsten tok over. Kunstakademiet ble formelt opprettet i 1754 og overtok en stor del av Charlottenborg og i 1787 ble paléet endelig overdratt til akademiet som eiendom – med unntak av en periode etter Københavns brann i 1795 hvor et antall institusjoner flyttet midlertidig inn.