Alle disse aktiviteter måtte dog efterhånden vige, da kunsten tog over. Kunstakademiet var blevet oprettet i 1701 og den tilhørende skole, "Male- og Tegneakademiet" var kommet til i 1744. I 1753 overtog skolen en stor del af Charlottenborg, og i 1787 blev palæet endeligt overdraget til akademiet som ejendom – dog med undtagelse af en periode efter Københavns brand i 1795, hvor et antal institutioner midlertidigt flyttede ind.