Na olympiádě 2004 obsadil 8. místo s výkonem 83,01 metrů a od té doby je jedním z nejlepších světových oštěpařů. V srpnu 2005 přehodil devadesátimetrovou hranici výkonem 91,53 metrů a byl favoritem mistrovství světa v atletice 2005, které se ten rok konalo v jeho rodném Finsku. Přesto skončil těsně pod stupni vítězů, na 4. místě. V roce 2006 získal stříbrnou medaili na evropském šampionátu ve švédském Göteborgu. Pitkämäki je znám svým rivalstvím s olympijským vítězem Andreasem Thorkildsenem. V roce 2007 se stal vítězem ankety Atlet Evropy.