Akademiets situasjon ble dårligere etter Gustaf IIIs død i 1792. I 1795 oppstod en større kontrovers da Axel Silverstolpe holdt sin tiltredelsestale og benyttet anledningen til å gi berøm til sin forgjenger, Axel von Fersen den äldres, oppførsel i riksdagen i 1789, hvoretter Akademiet ble stengt i to år.