Han blev draftet av Ottawa Senators i 1994 i sjette runde som nummer 133. Han har blant annet vunnet NHLs Calder Trophy som årets beste rookie i 1996. I Senators spilte Alfredsson oftest i førsterekken − kjent som «CASH» eller «Pizza-rekken» − sammen med senter Jason Spezza og venstre ving Dany Heatley innen Heatley ble tradet til San Jose Sharks. Han er en av ligaens beste to-veisspillere, og han holder Senators klubbrekorder i mål (426), assists (682) og poeng (1108) på 1178 kamper. Den 22. oktober 2010 ble han den 75. spilleren i NHLs historie til å nå 1000 poeng i karrieren, da han scoret et hattrick mot Buffalo Sabres.