אל-ווחיישי נולד ככל הנראה בסביבות ה-1 באוקטובר 1976 בדרום תימן. על ילדותו לא ידוע דבר פרט לכך שהוא למד בבית ספר דתי ממוצע. הוא שימש כמזכירו האישי של אוסאמה בן לאדן מנהיג אל-קאעידה. לאחר פיגועי 11 בספטמבר בשנת 2001, נמלט מאפגניסטן לאיראן, אולם נתפס בידי המשטרה האיראנית ללא אישום והוסגר למולדתו תימן. הוא נכלא בבית כלא בצנעא, בירת תימן. ב-2006 הוא נמלט משם יחד עם עוד 23 טרוריסטים, הוא הצטרף אל השלוחה התימנית של אל-קאעידה שנקראה "אל-קאעידה בתימן". בינואר 2009 התמזג הארגון עם הארגון "אל-קאעידה בערב הסעודית", והשניים יצרו את "אל-קאעידה בחצי האי ערב" (AQAP). בסרטון שפורסם באינטרנט הודיע סגנו של בן לאדן איימן א-זוואהירי, שאל-ווחיישי מונה למפקד הרשמי של הארגון.