Herbert Kroemer Weimar’daki Friedrich Schiller lisesini bitirdikten sonra, 1947 yılında Jena şehrindeki Friedrich Schiller Üniversitesi’nde fizik eğitimine başladı. Friedrich Hund ve diğer hocaların derslerine devam etti. Batı Berlin’e yardım amacı ile kurulan Berlin Hava Köprüsü’nün kurulduğu dönemde staj yapmak üzere Berlin’de bulunan Kroemer, bu fırsattan yararlanarak batıya kaçtı ve eğitimine Göttingen’deki Georg August Üniversitesi’nde devam etti. 1952 yılında, Richard Becker’in yanında, teorik fizik dalında, sıcak elektronların Transistörlere etkileri konulu doktorasını yaptı. Hemen ardından Almanya Federal Posta İdaresi, Telekomünikasyon Merkezi’nde, kendi deyimiyle "Uygulayıcı Teorisyen" olarak işe başladı. 1954 yılında Amerika’ya gitti ve Princeton Üniversitesi’nde ve Palo Alto’da çeşitli araştırma ve geliştirme projelerinde çalıştı. 1968 ile 1976 yılları arasında Boulder’deki Colorado Üniversitesi’nde fizik profesörü olarak çalıştı, daha sonra Santa Barbara’daki Kaliforniya Üniversitesi’ne geçti.