Ved Københavns brand i juni 1795 nedbrændte hotellet til grunden, og d. 17. juli samme år købte Rau adelspalæet Den Gramske Gård (også Ahlefeldts Gård) på hjørnet af Østergade og Kongens Nytorv og indrettede hotellet her. Den 15. februar 1804 optog Rau sin svigersøn, Johan Schmetzer, som kompagnon. Schmetzer gik fallit ved statsbankerotten 1813.