Hotellet ble startet av beverter Johannes Olsen i 1841. Han bygde fløyene mot Kirkegaten og Domkirken.