Gdy w kwietniu 1936 roku wybuchło arabskie powstanie w Palestynie, al-Kawukdżi zaangażował się w pomoc palestyńskim powstańcom. Wysłuchał wezwania wielkiego muftiego Jerozolimy Muhammada Amina al-Husajniego i na czele stu irackich ochotników wyruszył do Palestyny. Po przejściu przez Emirat Transjordanii, w sierpniu 1936 roku wkroczyli do Doliny Bet Sze’an. Dołączyło tutaj do niego około 60 Syryjczyków i 30 Druzów. W owym czasie w Mandacie Palestyny nie działał jeszcze żaden podobnie zorganizowany oddział powstańców. Al-Kawukdżi starał się działać z zachowaniem zewnętrznego wyglądu wojskowego. Szkolił swoich ludzi wykorzystując wojskowe metody szkoleń, oraz narzucał dyscyplinę lokalnym liderom milicji. Zorganizował własną sieć informatorów, szpiegów i zdrajców, którzy działali przeciwko brytyjskim władzom mandatowym. Wykorzystywał przy tym arabskich dziennikarzy i syryjskie dzienniki do publikowania komunikatów z prowadzonych działań i werbowania nowych ochotników. Gazety bardzo szybko wykreowały go na bohatera, a następnie arabska ludność w Palestynie uznała w nim wojskowego przywódcę powstania. Sam siebie nazywał „Przywódcą Rewolucji Arabskiej w Południowej Syrii”. Jego oddział prowadził działania w rejonie miast Nablus, Tulkarm i Dżanin w Samarii. Początkowo utrzymywał przyjazne kontakty z klanem Husajnów, jednak z czasem stosunki te pogorszyły się ze względu na przyjaźń z klanem Naszaszibi.