Венцом тренерской карьеры Рехагеля стала его работа со сборной Греции, которую он возглавил в 2001 году. На тот момент «эллины» лишь дважды принимали участие в международных турнирах, но перед немецким специалистом была поставлена задача вывести команду на Евро 2004. Начав отборочный турнир с двух поражений от команд Испании и Украины, греки затем выиграли оставшиеся шесть матчей и квалифицировались в финальную часть турнира, став победителем отборочной группы. Будучи явными аутсайдерами греки в первом же матче одержали сенсационную победу над главными фаворитами и хозяева чемпионата сборной Португалии. Ничья с испанцами в следующем туре позволила грекам выйти в плей-офф турнира. В решающих матчах подопечные Рехагеля продолжили совершать сенсации: в четвертьфинале они с минимальным счётом одолели действующих чемпионов Европы сборную Франции, а в полуфинале — сборную Чехии. В финальном матче греки вновь встречались с португальцами и благодаря единственному голу Ангелоса Харистеаса стали чемпионами Европы.