Etter at Nordraak flyttet ut, har huset hatt skiftende eiere og leieboere. Et par av tidens kjente kvinner og menn, som skuespillerinnen Sophie Reimers og L. C. Dahl, forsvarsminister i ministeriet Selmer, var blant dem. Over årene var huset delt mellom studenthybler, boliger for offiserer, kontorer og privatskoler. Rundt århundreskiftet ble huset hotell og påbygd en inngangsportal med søyler. St. Olavs hotell hadde 60 gjesteværelser. I en brosjyre fra 1912 heter det at «Hotel St. Olav er et rolig og stille sted, der også — særlig om vinteren — mottager faste pensjonærer. Hotellets beliggenhet, fjærnt fra de mest befærdede gader med deres larmende trafik, gjør hotellet yndet som oppholdssted for folk der ønsker ro og stillhed».