Kiefer er sønn av kunstpedagog Albert Kiefer og hans kone Cilly. Han ble født i en luftvernbunker i hospitalet i Donaueschingen. Han flyttet til Rastatt i 1951, og i 1965 ble han immatrikulert som student i Freiburg im Breisgau, hvor han leste fagene jus, romanistikk og litteratur. Samtidig studerte han maleri fra 1966 til 1968 i Freiburg, og derefter ved det statlige kunstakademiet i Karlsruhe. Hans eksamensarbeide var en fotodokumentasjon av en performance-forestilling.