Herbert Kroemer po maturze w roku 1947 rozpoczął studia na wydziale fizyki Uniwersytetu w Jenie (NRD). Uczęszczał m.in. na wykłady Friedricha Hunda. W czasie blokady Berlina uczestniczył w praktykach w Berlinie, co wykorzystał do ucieczki na zachodnią stronę. Kontynuował studia na Uniwersytecie Georga-Augusta w Getyndze. Dyplomował się roku 1952 z fizyki teoretycznej na temat efektów gorących elektronów w tranzystorach, a następnie pracował jako „teoretyk stosowany” (jak sam się nazywał) w Centralnym urzędzie telekomunikacji (Fernmeldetechnisches Zentralamt) Poczty Niemieckiej. W roku 1954 wyjechał do Stanów Zjednoczonych gdzie pracował w różnych laboratoriach w Princeton i Palo Alto. W latach 1968–1976 wykładał fizykę na University of Colorado w Boulder, a następnie przeniósł się na University of California w Santa Barbara.