Auch im 19. Jahrhundert wurde das städtische Gebäude als Hotel betrieben. Während des Großen Brandes 1842 fing der Dachstuhl des Hauses mehrfach Feuer. Während zwei neben dem Kaisershof liegende Häuser unbewohnbar wurden, konnte der Kaisershof und andere im Neß gerettet werden. Gleichwohl war die Umgebung mit Börse, Rathaus und Bank vollkommen zerstört. Anstelle des alten Rathauses entstand die Straßenverbindung zum neuen Börsengebäude ("Börsenbrücke") und das Gebäude der Patriotischen Gesellschaft, die bereits zuvor auch den Kaisershof genutzt hatten. Im 19. Jahrhundert diente der Kaisershof auch als „Patriotisches Gebäude“.