Tolstoj var under sin barndom først hos sin morbror A. Perovskij (som forfatter kjent under navnet ) i det sørlige Russland. En stor del av sin ungdom tilbragte han på reiser i vestre og sørlige Europa. Tolstoj var utdannet fra Statsuniversitetet i Moskva i 1836, og arbeidet ved hoffet det meste av sitt liv, som seremonimester og senere som hoffjegermester.