Kolberg var statssekretær (stabssjef) ved statsministerens kontor under Gro Harlem Brundtland fra 1995 til 1996. Da Jagland overtok som statsminister i 1996, ble Kolberg flyttet til Forsvarsdepartementet. Det førte til et brudd mellom de to barndomsvennene. Saken var ifølge Jagland en misforståelse, da han mente de to hadde hatt en avtale om å ikke jobbe samme sted i politikken.