Han vokste opp i universitetsbyen Tartu som sønn av Hilja (født Mändmets) og Teodor Lippmaa (opprinnelig Lipman), som var botaniker og naturverner. Han mistet hele sin familie under et sovjetisk flybombeangrep i 1943.