Pochodził z rodu książęcego spokrewnionego z Rurykowiczami, był synem Andrieja Iwanowicza i jedynym dziedzicem rodzinnej fortuny. Za sprawą rodzinnych powiązań trafił do artystycznych kręgów rosyjskiej inteligencji. W młodości walczył pod Borodinem, w czasie wojen napoleońskich.