Hijo del conde Félix Félixovich Sumarókov-Elston, gobernador de Moscú y de la princesa Zinaída Nikoláievna Yusúpova (que pertenecía a la familia Yusúpov), una de las mujeres más ricas del mundo.