Der Große Brand vernichtete 1842 das Gebäude, ein Großteil der Sammlung konnte jedoch gerettet werden. Der Architekt Friedrich Stammann baute im Auftrag Harzens zwar ein neues, 1844 eröffnetes Gebäude, der Kunsthändler selbst begann jedoch, sich aus der Öffentlichkeit zurückzuziehen. Er konzentrierte sich in der Folgezeit auf private Sammeltätigkeiten. Zudem forschte er zur Kunstgeschichte. Bis 1860 schrieb er sieben Abhandlungen zu Druckgrafiken alter Meister. Harzen gewann die Erkenntnisse während mehrerer Reisen durch Europa. Er plante, die Ergebnisse in der „Geschichte der graphischen Künste, der Handzeichnung und der Druckgraphik“ zusammenzufassen, vollendete das Werk jedoch nicht.