Som følge av det økende forfallet og byens behov for nye tomter, ble ønsket om å rive anlegget stadig tydeligere uttalt. Maleren og forfatteren Christian Krohg var blant rivningstalsmennene. Men mot slutten av 1800-tallet våknet forståelsen for Akershus som historisk minnesmerke og motkrefter mot forfall og rivning ble omsider mobilisert.