Etterhvert bosatte Johnsen seg i St. Olavs plass 2 sammen med sin familie. I denne gården ble mye av ornamentene senere hugget vekk som en del av et kommunalt moderniseringsprosjekt. Gården har en viktig plass i Knut Hamsuns roman . Gården er her bostedet til den kvinnelige hovedpersonen, Ylajali. Det har vært spekulert i om Ylajali faktisk kan være modellert etter Olaus Johnsens datter, Nathalie; Johnsens bodde trolig i annen etasje der balkongen var, og det er nettopp i annen etasje at Ylajali kommer til syne i vinduet mens jeg-personen lener seg mot Cupido-statuen i fontenen, slik Hamsun beskriver. Men malerinnen Ida Wedel Jarlsberg er også en mulig, og kanskje enda mer sannsynlig kandidat; hun var nemlig, ifølge Lars Frode Larsen i , ofte på besøk hos sin bror Fritz, som vi ut fra folketellingene at bodde i annen etasje.