Etter at den marxistiske, sionistiske teoretikeren Ber Borochov døde 17. desember 1917, oppsto det en splittelse i Poale Zion-bevegelsen i en høyrefløy og en venstrefløy. Ben-Gurion sluttet seg sammen med sin nære venn Berl Katznelson seg til høyrefløyen, og Ahdut HaAvoda ble stiftet med Ben-Gurion som leder i 1919. Året etter var han med på å stifte Histadrut, den sionistiske fagbevegelsen i Palestina, og ble dens første generalsekretær.