Hasta que tuvo la edad suficiente para empezar las clases, Sergio pasaba todo su tiempo con su hermano menor Pablo, a quien estaba muy unido, y a su hermana María en Livadia, en la residencia de la familia en Crimea, en Tsárskoye Seló y en el Palacio de Invierno en San Petersburgo.