Han var utdannet organist fra Musikkonservatoriet i Oslo og hadde magistergrad i musikkvitenskap fra Universitetet i Oslo. I tillegg til sitt virke som komponist arbeidet han i mange år som organist. Kolberg var også forskningsstipendiat innen nyere musikk, kritiker og skribent, og var spesielt opptatt av samtidsmusikkens rolle og funksjon i samfunnet.