Xan var sønn av Conrad Peter Krohn (1845–) og Ingeborg Severine Christine Krüger (1850–1910). Faren var skipskaptein med familie fra Farsund. Foreldrene skilte seg og mora emigrerte til USA i 1885 og faren emigrerte til USA i 1889. I 1907 giftet han seg med den russiske adelskvinnen og kunstnerinnen Julie de Holmberg (1882–1956) fra Kursk og de bosatte seg i Kiev. Med prestedattera Sonja Tresvinskaja fikk han sønnen Oleg (1914–44) som i likhet med sin datter Sonja Krohn (født 1941) også ble billedkunstner.