Andrej Fadejev kom fra en familie med sterke militære bånd. Faren Pjotr Mikhajlovitsj var kaptein i hæren under Peter I av Russland, og døde i slaget ved Poltava. Bestefaren Ilja Petrovitsj døde av skadene han ble påført under den russisk-østerrikske tyrkerkrig på slutten av regjeringstiden til Anna av Russland. Hans bror Mikhail ble drept under Napoleons felttog i Russland 1812.