I disse kretser møtte han motejournalisten Elsa Klein, som han forelsket seg i. Hun besvarte imidlertid ikke hans følelser, og skuffet dro han til Värmland der han sammen med kameraten Walter Hülphers bestemte seg for å leve et liv i kyskhet og fattigdom. Etter en tid vendte kameratene tilbake til et mer normalt liv. Bror tok igjen leksjoner hos Gustaf Fjæstad og utviklet en egen stil med dempede fargetoner. På 1920-tallet trakk han seg tilbake og levde isolert. Han døde i 1941.