Koivu anses som en av de beste finske ishockeyspillerne gjennom tidende og ble i 2017 innvalgt til IIHF Hall of Fame. Han innledet sin 22 år lange ishockeykarriere i TPS i finske SM-liiga hvor han ble finsk mester i 1993 og 1995. Han debuterte i NHL for Montréal i 1995 etter å ha blitt draftet to år før. I løpet av sin NHL-karriere spilte han fjorten sesonger for Montréal etterfulgt av fem sesonger i Anaheim Ducks. Han var lagkaptein i ti av sine fjorten sesonger i Montréal og var klubbens første europeiske lagkaptein. I september 2001 ble Koivu diagnostisert med lymfekreft i magen (Non-Hodgkins lymfom) og misset som følge av dette nesten hele 2001/02-sesongen. Et halvt år overvant han kreftsykdommen og var tilbake på isen i Stanley Cup-sluttspillet. For sitt comeback vant han i 2002 Bill Masterton Memorial Trophy, som gis til spilleren som har vist best sportsånd og engasjement for sporten.