De ble gift i 1852, og egteskapet var problematisk fra starten. Ekaterina var meget ambisiøs, men han vant hennes aktelse da han tjente en formue på indigomarkedet. De fikk tre barn, og det lyktes ham å tjene enda mer penger på militært utstyr i forbindelse med Krimkrigen og den amerikanske borgerkrig.