Херцог помогал Йозефу Хиккерсбергеру тренировать национальную команду Австрии, в том числе он это делал и на домашнем чемпионате Европы 2008. С 2009 по 2011 годы — главный тренер сборной Австрии до 21 года. С 2011 по 2016 годы помогал Юргену Клинсману в США. В августе 2018 года назначен на пост наставника сборной Израиля.