בסמוך להקמת הפלמ"ח הצטרף לשורות הארגון. הפלמ"ח הוקם ערב המערכה בסוריה ובלבנון בה פלשו כוחות בעלות הברית לסוריה וללבנון שהיו בשליטת אנשי צרפת של וישי שהיה חשש שיעברו לצד מדינות הציר. היה צורך בצעירים דוברי ערבית שיוכלו לשמש בתפקידים מיוחדים בסוריה ובלבנון לקראת הפלישה ובמהלכה. בן יהודה, שכונה בכינוי המחתרתי "עבדו" גויס למסגרת שכונתה "המחלקה הסורית", לצד יהושע פלמון, חיים לבקוב וירוחם כהן. ביחד עם לבקוב חדר לסוריה ערב הפלישה, במאי 1941. עד לתחילת הלחימה לא היה לבן יהודה וללבקוב קשר עם מפקדת בעלות הברית, אך לאחר תחילת הלחימה חודש הקשר והם נשלחו לאזור חלב כדי לפגוע במתקנים של הצרפתים, שגילו עדיין התנגדות. כאשר הגיעו אנשי החוליה לשדה התעופה בחאלב גילו כי המטוסים המוצבים שם הם מטוסי דמה. הם החליטו לפגוע במטרות אחרות וחיבלו בתחנת רכבת ובמאגרי דלק.