Chaim Herzog wurde am 17. September 1918 in North-Belfast (heutiges Nordirland) als Sohn des angesehenen Rabbis Isaak HaLevy Herzog, der ab 1948 aschkenasischer Oberrabbiner Israels war, und seiner Ehefrau Sarah Herzog geboren. Kurz nach seiner Geburt verzog die Familie nach Dublin. Hier wuchs er auf und erhielt eine traditionelle jüdische Erziehung. Seine Schulausbildung absolvierte er am Wesley College in Dublin. Um zu studieren, wanderte Chaim Herzog 1935 nach Palästina aus und absolvierte an der Merkaz Harav Kook, der Hebron Yeshivot und der Evelyn de Rothschild Schule verschiedene Studiengänge, an der letzteren Rechtswissenschaften. Während des arabischen Aufstands von 1936 bis 1939 diente er in der Vorgängerorganisation der israelischen Armee, der Hagana, reiste zwischendurch aber auch nach London, um vor allem seine Rechtsausbildung in London und Cambridge zu vervollständigen. Während dieser Aufenthalte besuchte er auch, um sich das notwendige Wissen für eine militärische Laufbahn anzueignen, Officer Training Course und die britische Militärakademie in Sandhurst. Diese absolvierte er im Range eines Second Lieutnants. Seinen Abschluss als Jurist erwarb er am UCL und beendete 1942 auch das Studium an der Universität Cambridge.