In der Zeit zwischen 1811 und 1814, als Hamburg französisch besetzt war, wurden das gesamte Erdgeschoss für die französische Zollverwaltung und die Obergeschosse als Kaserne genutzt. Auf seinen Reisen durch Europa skizzierte der englische Maler William Turner das Baumhaus im Jahre 1835 mit der Michaeliskirche. Ab 1832 trafen sich in dem Saal im oberen Stock immer sonnabends im Sommer die Mitglieder des Hamburger Künstlervereins von 1832. Das 1840 beendete Gemälde "Die Mitglieder des Hamburger Künstlervereins" von Günther Gensler zeigt einen Teil des Saales. Den großen Hamburger Brand von 1842 überstand das Haus unbeschadet.