Han var født i Bergen og studerte ved ETH i Zürich og ved NTH i Trondheim (1969). Fra 1971 var han forsker, først ved NTH, siden ved Sintef til 1976, da han ble forskningsadministrator hos NTNF. Fra 1982 og til han begynte i NSB var han administrerende direktør i Asplan. Han hadde også styreverv i private og statlige bedrifter, blant annet Norconsult, Aker ASA, Kongsberg Våpenfabrikk og Aschehoug forlag. Fra 1987 var han styreformann i Vinmonopolet. Han var også styreformann for Nationaltheatret. I 1990 stiftet han firmaet Kjeld Rimberg Consulting, som han drev som selvstendig konsulent.