ב-19 בספטמבר 1914 התנדב מרגולין לצבא האוסטרלי, ונשלח למצרים במסגרת חיל המשלוח האוסטרלי–ניו זילנדי (אנזא"ק). משם נשלח לחזית גליפולי, שם נפצע והועלה לדרגת קצין. עם כישלון המערכה בדרדנלים נשלח לצרפת, שם עלה בסולם הדרגות. בקרב על נהר סום קיבל את אות השירות המצוין (Distinguished Service Order, DSO). מספר פעמים התפוצצו פצצות על ידו, חבריו נהרגו והוא יצא שלם בגופו. הוא התקדם בסולם הדרגות והגיע לדרגה של לויטננט קולונל. מרגולין נפצע שלוש פעמים. הפציעה השלישית הייתה קשה, והוא פונה ללונדון, ושכב שבועות רבים בבית החולים. כשהחלים קיבל שחרור מהצבא, והתכוון לשוב לאוסטרליה. באותו הזמן שמע לראשונה על הגדודים העבריים. זאב ז'בוטינסקי, שהיה באותו הזמן בלונדון, נפגש עם מרגולין ושכנע אותו להצטרף כמפקד בגדודים העבריים.