Karpov ble født i Zlatoust i det tidligere Sovjetunionen, og lærte å spille sjakk som fireåring. Tolv år gammel ble han tatt opp som elev på sjakkskolen til Mikhail Botvinnik. 15 år gammel ble han tidenes yngste vinner av sovjetmesterskapet i sjakk, og noen måneder senere ble han europamester for juniorer. I 1969 ble han juniorverdensmester.