Vuonna 2001 Rehhagel palasi valmennushommiin siirtyessään Vassilis Daniiln seuraajaksi Kreikan maajoukkueen päävalmentajaksi. Rehhagelin kilpikonnataktiikalla Kreikka selviytyi sensaatiomaisesti EM-kisoihin 2004. Heittopussiksi povatut helleenit saivat kaikki mykistymään, kun Rehhagelin miehistö sumputti niin Tšekin, Ranskan kuin Portugalinkin taitohyökkääjät. Kisat huipentuivat kreikkalaisten mestaruusjuhliin, kun isäntämaa Portugali kaatui finaalissa 1–0.