Pocházel ze severoirského Belfastu a jeho otcem byl irský a izraelský vrchní rabín Jicchak ha-Levi Herzog. Vystudoval právo a jeho vojenská kariéra začala již v roce 1936 vstupem do Hagany při arabském povstání v Palestině. Během druhé světové války se jako zpravodajský důstojník Britské armády zapojil do boje proti nacismu, zúčastnil se vylodění v Normandii, bojů o překročení Rýna a osvobození koncentračních táborů. Patřil mezi zakladatele izraelské armády a v roce 1948 se zúčastnil bojů o Jeruzalém. Podílel se na zrodu izraelské vojenské zpravodajské služby, v jejímž čele celkem dvakrát stanul. Vojenskou kariéru ukončil roku 1962 v hodnosti generálmajora a o pět let později se během šestidenní války stal vojenským komentátorem.