Tolstoj se je rodil 9 septembra 1828 na družinskem posestvu, imenovanem Jasna Poljana (Jasnaja Poljana), 200 km južno od Moskve. Bil je četrti od petih otrok grofa Nikolaja Iljiča Tolstoja, veterana iz domovinske vojne leta 1812, in grofice Marije Tolstaje.