V roce 1949 byl v prvních parlamentních volbách zvolen poslancem za stranu Mapaj a členem izraelského parlamentu byl až do své smrti v roce 1965. K jeho největším úspěchům ve funkce ministra zahraničních věcí patřily dohody o příměří z roku 1949. Tyto oficiálně ukončily vojenské akce mezi Izraelem a jeho arabskými sousedy v izraelské válce za nezávislost. Za jeho působení v čele diplomacie Izrael navázal diplomatické vztahy s řadou zemí, stal se členem Organizace spojených národů (OSN) a v roce 1952 přijal dohodu o válečných reparacích s Německem. Ve vládě patřil k hlavním představitelům „diplomatů,“ kteří stáli proti „vojákům,“ jež vedl premiér Ben Gurion. Tyto dvě skupiny se střetávaly především v otázce, jak reagovat na arabské útoky. Tento střet ve své knize popisuje Luc Rosenzweig následovně: