I 1873 giftet han seg med malerinnen Clementine Lederer (1842–1928), datter av Wiens borgermester. I Wien fikk han oppdragsgivere i et høyborgerlig miljø. Han tilbrakte et kvart århundre av sitt liv i Tyskland og Østerrike. I 1885 forlot han kone og barn for aldri å se dem igjen, og flyttet tilbake til Kristiansand, såret og deprimert.