I EM-slutspelet 2004 i Portugal spelade Nilsson i alla Sveriges matcher, men flyttades redan i den första ned som ytterback. Den positionen fick han behålla när han efter EM värvades av engelska Southampton. Han hade dock svårt att ta en plats i laget och när Southampton åkte ur Premier League samma säsong gick han vidare till Panathinaikos i Grekland.