Under felttoget i Norge i 1940 var Colbjørnsen med på transporten av Norges banks gull. Da gulltransporten var på Åndalsnes, kom blant andre Einar Gerhardsen og Ole Colbjørnsen til som medhjelpere. Colbjørnsen var med da gullet ble lastet om og kontrollert mens Molde ble bombet. Kongen, kronprinsen og regjeringen holdt til i Molde noen dager i april. De la ut fra Molde havn mens byen brant bak dem. Etter å ha fulgt med transporten til Tromsø, var han med til Skottland. Halvdan Koht ble også med fra Troms til Skottland.