Gustav Heinemann ble født som det eldste av tre barn av Otto Heinemann, kontrollør i sparebankene. Faren steg siden i gradene til å bli arbeidsdirektør ved Krupp-verkene. Gustav ble døpt etter sin morfar og vokste opp i et hjem preget av liberalisme og frisinn. Han tok nødeksamen (Notabitur) 1917, deltok i første verdenskrig, men var ikke ved fronten. Frem til krigsslutt kom han etter et hjerteproblem å tilbringe ved Kruppverkene.