Už bohatý, sa rozhodol nájsť svoju priateľku z detstva Minnu Meinckeovú s ktorou sa zasnúbil v lete v roku 1831 a po šestnástich rokoch, keď sa stretli len na Veľký piatok 1836, požiadať ju o ruku. Keď ju našiel dozvedel sa, že Minna sa v roku 1847 vydala. Po návrate z Ameriky do Ruska, sa 12. októbra v roku 1852 oženil s Jekaterinou Petrovnou Lyšinovou (Rus. Екатерина Петровна Лыжина), dcérou právnika. Manželom sa narodili tri deti, ale ich vzťah nebol šťastný. Jekaterina s obľubou často vyhlasovala, že jej manžel je despota a tyran .