W reprezentacji Szwajcarii Frei występował już w drużynach juniorskich. W 2002 był półfinalistą Mistrzostw Europy U-21. W pierwszej drużynie seniorów zadebiutował 24 marca 2001 w meczu z Jugosławią (1:1). W 2004 wystąpił na Mistrzostwach Europy w Portugalii, zaś w 2006 zadebiutował na Mistrzostwach Świata, na których zdobył pierwszą bramkę w drugim meczu grupowym przeciwko Togo. Podczas pierwszego meczu na Mistrzostwach Europy w Austrii i Szwajcarii pod koniec pierwszej połowy doznał kontuzji kolana, co wykluczyło jego dalszy udział w tej imprezie. Do tej pory rozegrał w reprezentacji Szwajcarii 81 meczów i zdobył 42 bramki, dzięki czemu jest najskuteczniejszym strzelcem w jej historii.