Colberg vant en olympisk bronsemedalje i boksing under OL 1920 i Antwerpen. Han kom på tredjeplass i weltervekt, i semifinalen tapte han til Bert Schneider fra Canada som siden ble olympisk mester gjennom å beseire Alexander Ireland i finalen. Det var 18 boksere fra ti nasjoner som stilte i denne vektklassen som ble avviklet i perioden 21. til 24. august 1920.