Fue adoptado por Vera Yákovlevna Kolmogórova, la hermana de su madre, en la hacienda de su abuelo Yakov Stepanovich Kolmogorov, un noble rico, en Tunoshna, cerca de Yaroslavl.