Under OL i 1984 møtte han rivalen Karppinen nok en gang. Kolbe kjempet og fikk ledelsen tidlig. Han begynte langsomt å dra i fra de andre roerne mens Karppinen lå langt bak. Over de siste tusen meterne fortsatte Kolbe å dra fra feltet, men Karppinen kom seg tilbake i løpet igjen. Med 150 meter igjen av distansen, tok han igjen en sliten Kolbe og gikk videre til å vinne sitt tredje olympiske gull.