Tolstoj ble født på familiens gods i Jasnaja Poljana, som er stedet der han skrev mange av sine bøker og politiske essayer. Han var det fjerde av fem barn av grev Nikolaj Iljitj Tolstoj, en veteran fra Napoleonskrigene, og hans kone grevinne Marija Tolstaja (Volkonskaja). Moren døde i barselseng da Lev var 2 år, uten å etterlate seg noe bilde av seg selv, og han visste aldri hvordan hun så ut. Han hadde tre eldre brødre, Nikolaj, Sergej og Dmitrij, og en yngre søster, Marija.