אל-מסרי החל את דרכו בארגון האחים המוסלמים במצרים, ובשנת 1982 הצטרף לארגון הג'יהאד האסלאמי המצרי. הוא עבר למחנה של אוסאמה בן לאדן באפגניסטן בשנת 1999, שם התאמן והפך מומחה בחומרי נפץ, בייחוד בתחום משאיות נפץ. לאחר הפלישה האמריקאית לאפגניסטן עבר לעיראק, שם פיקד על פעולות אל-קאעידה בדרום המדינה. הוא טען לאחריות על הוצאתו להורג של שבוי טורקי בשנת 2004.