Pochádzal zo severoírskeho Belfastu; jeho otec bol írsky a izraelský vrchný rabín Jicchak ha-Levi Herzog. Vyštudoval právo a jeho vojenská kariéra začala už v roku 1936 vstupom do Hagany pri arabskom povstaní v Palestíne. Počas druhej svetovej vojny sa ako spravodajský dôstojník Britskej armády zapojil do boja proti nacizmu, zúčastnil sa vylodenia v Normandii, bojov o prekročenie Rýna a na oslobodení koncentračných táboroch. Patril medzi zakladateľov izraelskej armády a v roku 1948 sa zúčastnil bojov o Jeruzalem. Bol pri zrode izraelskej vojenskej spravodajskej služby a celkom dvakrát bol jej čelným predstaviteľom. Vojenskú kariéru ukončil roku 1962 v hodnosti generálmajora a o päť rokov neskôr sa počas šesťdňovej vojny stal vojenským komentátorom.