Christgau ble født i New York. Han sier at han ble rock and roll-fan da discjockeyen Alan Freed kom til byen i 1954. Han forlot New York for å begynne på college i New Hampshire, hvor han ble uteksaminert i 1962. I collegetiden ble han mer interessert i jazz, men vendte tilbake til rock and roll så snart han kom tilbake til New York.