Narodil sa v Belfaste v Spojenom kráľovstve Veľkej Británie a Írska (dnes Severné Írsko v Spojenom kráľovstve) ako syn Sáry Hillmanovej a významného rabína Jicchaka ha-Levi Herzoga, ktorý v rokoch 1919 až 1937 zastával funkciu vrchného rabína Írska a následne vrchného aškenázskeho rabína mandátnej Palestíne (19371948) a Izraela (19481959). Rodina žila od roku 1919 v Dubline, kde sa narodil aj Chajimov mladší brat Jaakov (19211972), neskorší rabín a izraelský veľvyslanec v Kanade. Vyrastal a neskôr aj študoval v Dubline na Wesley College. V roku 1935, ako sedemnásťročný, podnikol spoločne s rodinou aliju do britskej mandátnej Palestíny, kde tri roky študoval v Hebronskej ješive, ješive Merkaz ha-rav a právnickej škole vlády britského mandátu. V roku 1936 vstúpil na začiatku arabského povstania do židovskej polovojenskej organizácie Hagana. O dva roky neskôr sa vrátil do Spojeného kráľovstva, kde vyštudoval právo na londýnskej univerzite a univerzite v Cambridgei.