务员，母亲是家庭主妇，都来自技术工家庭，父母虽然没有受过高等教育，但是希望赫伯特·克勒默能获得最好的教育，他们并没有为儿子制订具体的学术方向，赫伯特·克勒默自己选择了数学、物理和化学。1947年中学毕业后，他在耶拿大学学习物理学，曾听过德国物理学家弗里德里希·洪德（Friedrich Hund）的课。他在柏林实习时，利用“空中桥梁”逃往了西德，并在哥廷根大学完成了关于晶体管中热电子效应的理论物理学研究和博士论文，导师是德国物理学家里夏德·贝克（Richard Becker），1952年获得博士头衔。此后他将