Karl Lehmann ble født i Sigmaringen og vokste opp i Veringenstadt. Faren var lærer og moren utdannet bokhandler. Under sin videregående utdannelse bodde han på det katolske studenterhjemmet Erzbischöfliche Studienheim St. Fidelis i Sigmaringen.