Był synem bohatera wojny kaukaskiej i damy dworu Jekateriny Nikołajewny Sipiaginy. Miał liczne rodzeństwo: Jelizawieta (1846–1915), Maria (1849–?), (1850–1914), Sofia (1853–1928) i Jekatierina (1855–1910), Siergiej (1859–1918) oraz (1863–1918).