Também chegou a disputar as eliminatórias para a Eurocopa de 2004, na qual a Áustria não conseguiu a classificação. A última partida de Herzog pela Seleção foi um amistoso contra a Escócia, em abril de 2003. No total, foram 103 jogos e 26 gols.