Sakharov var sønn av Dmitrij Ivanovitsj Sakharov, fysikklærer ved privatskoler og amatørpianist. Senere underviste han ved Statsuniversitetet i Moskva. Andreijs bestefar hadde vært advokat i det russiske keiserdømmet og hadde respekt for sosial bevissthet og humanitære prinsipper. Sakharovs bestefar ville senere ha en stor innflytelse på Andrej Sakharov. Sakharovs mor var Jekatrina Aleksejevna Sakharova, som hadde greske røtter. Sakharovs foreldre og bestemor på farssiden hadde stor innflytelse på hvordan personligheten hans utviklet seg. Sakharov vokste opp som russiskortodoks, men ble ateist senere i livet. Han mente derimot at et «ledende prinsipp» ledet universet og menneskenes liv.