Deretter oppsto en skandale rundt ham, som han selv ikke var skyld i. En svensk konvertitt ble forelsket i ham, og på et tidspunkt kom hun seg inn i St. Olav kirkes bispegård mens biskopen var der og begynte å kle av seg. Biskopen fant å måtte hoppe ut av et vindu for å unngå henne, men han unngikk ikke at historien ble kjent på byen. Einar Rose skrev kort tid etter en kjent revyvise om tildragelsen.