Narodil se v Belfastu ve Spojeném království Velké Británie a Irska (dnes Severní Irsko ve Spojeném království) jako syn Sáry Hillmanové a významného rabína Jicchaka ha-Levi Herzoga, který v letech 1919 až 1937 zastával funkci vrchního rabína Irska a následně vrchního aškenázského rabína mandátní Palestiny (1937–1948) a Izraele (1948–1959). Rodina žila od roku 1919 v Dublinu, kde se narodil i Chajimův mladší bratr Ja'akov (1921–1972), pozdější rabín a izraelský velvyslanec v Kanadě. Vyrůstal a posléze i studoval v Dublinu na Wesley College. V roce 1935, když mu bylo sedmnáct, podnikl společně s rodinou aliju do britské mandátní Palestiny, kde tři roky studoval v Hebronské ješivě, ješivě Merkaz ha-rav a právnické škole vlády britského mandátu. V roce 1936 vstoupil na počátku arabského povstání do židovské polovojenské organizace Hagana. O dva roky později se vrátil do Spojeného království, kde vystudoval právo na londýnské a cambridgeské univerzitě.