他与一些女农奴的性关系。（在《安娜·卡列尼娜》中，三十四岁的康斯坦丁·列文「一个带有半自传性的角色」也这样做了，他求自己19岁的未婚妻凯蒂读其日记，以获知他过去的越轨行为。）日记包括了一个事实：托翁曾与一个妇女生下一个孩子，她目前还住在亚斯纳亚·波里亚纳庄园。根据安妮·爱德华兹在《索尼娅：托尔斯泰伯爵夫人的一生》中的叙述，索菲亚对托翁可能与那个妇女重建关系怀有巨大的恐惧之心。
婚后.托尔斯泰一家有13个孩子，其中有8个活过了童年。这个家庭是繁荣的，多亏了托翁对庄园的有效管理和对自己