Hans oldemor Nadezhda Durova var den første kvinnelige offiser i den russiske hæren, og som soldat kjempet hun i det russiske kavaleriet under krigen mot Napoleon. Hans mor Tereza Durova (født Stadler) var en talentfull sirkusrytterske av tysk opprinnelse. Hun var innehaver av det bayerske sirkus. Etter en lang og vellykket turne ble hun værende i Russland for godt. Hans far Anatolij Durov den eldre var født inn i en adelsfamilie. Han høstet stor popularitet med sine klovnenumre.