Han arbeidet i den tidlige fase med kybernetikk, men ble etterhvert forskningssjef ved avdeling for elektronikk (1957). Holberg var blant annet sentral i utviklingen av TERNE-rakettene (ASDIC for Sjøforsvaret utviklet 1957-59), telesatellitt-stasjon på Råø, telemetristasjoner på Andøya og Tromsø, ODIN et feltartilleri-system, og rakettene i Penguin-prosjektet. Innenfor informasjonsteknologi var han ansvarlig for utviklingen SAM (1962). Han satt i ved NTH som presset frem anskaffelsen av GIER-maskin (1963). Han var også sentral da Norge ble det andre land innlemmet i Internett (1972).