I 1975 vant han sin første VM-tittel i singelsculler, og for denne prestasjonen ble han kåret til årets sportsutøver i Tyskland og gikk inn i OL 1976 som favoritt. På dagen for den olympiske finalen var vinden tøff og forholdene vanskelige. Kolbe ledet hele konkurransen, kun for å bli passert av Pertti Karppinen som lå bak i de tidlige fasene av racet. Kolbes belønning var sølvmedalje. Tyskland boikottet Sommer-OL 1980 i protest mot den sovjetiske invasjonen av Afghanistan, og Kolbe forlot singelsculleren og gikk over til åtter og deltok i flere internasjonale løp. Hans rival Karppinen vant gull i OL.