Hedman ble erstattet av Chris Kirkland i sesongen 2000/2001, da laget rykket ned fra Premier League. Han gjenvant plassen etter at Kirkland gikk til Liverpool etter én kamp i sesongen 2001/2002. Våren 2002 gikk Hedman til den skotske toppklubben Celtic. Han var utlånt til Serie A-klubben Ancona en kort periode i 2004. Mens han var i Ancona, ble han tatt ut til EM 2004, der han var reserve for Andreas Isaksson. Han spilte ytterligere en sesong for Celtic, før han la opp som profesjonell spiller på begynnelsen av sesongen 2005-06.