Han var i årene 1877–1891 gift med den finlandssvenske adelskvinnen Siri von Essen som han også fikk datteren Karin Smirnov med. I årene 1893–1897 var han gift med Frida Uhl, og i årene 1901–1904 med Harriet Bosse, som han fikk datteren Anne-Marie med. Det er hevdet at han også har hatt et forhold til Dagny Juel.