Yadin ble valgt til stabssjef for IDF 9. november 1949, som en etterfølge av Yaakov Doris oppsigelse. Yadin tjenestegjorde der i 3 år. Han sa opp 7. desember 1952 på grunn av en uenighet med visepresidenten og forsvarsministeren David Ben-Gurion om kutt i militærbudsjettet hvor han argumenterte for at det skulle være en tredjedel statsbudsjettet. Da han var 35 år var han ferdig med sin militære karriere.