Karl Rove vokste opp i Sparks i Nevada, men familien flyttet i 1966 til Holladay i Utah, hvor han gikk high school. Faren arbeidet som geolog. Foreldrene skiltes i 1969. Faren, som imidlertid ikke var hans biologiske far, var norskættet. Slektsnavnet Rove kommer fra gården Roverud ved Halden.