בתקופת המרד הפקיד את בניו בידי אחותו האלמנה, חלימה. לדברי בנו הבכור, כמאל, גם חלימה הייתה סוחרת דגנים ומאוחר יותר סוחרת טקסטיל, והיא תמכה כלכלית בחינוך הבנים. במהלך המרד, ראה חאג' מוחמד את בניו בדרך כלל יום או יומיים בכל שבוע, בכפרים שונים, והם הובאו למקום הימצאו על ידי אנשיו.
בשלב המוקדם של המרד (1936).
הכנופיות הראשונות.
עבּד א-רחים חאג' מוחמד היה מהמארגנים הראשיים של הפעולות הצבאיות בראשיתו של המרד ב-1936, לצדו של מי שנחשב אז למפקד הראשי, פח'רי עבד אל-האדי.
הקשרים המקומיים שטיפח כסוחר, התגלו כמועילים במאמצי הגיוס שלו. רשת הנאמנויות השבטיות של חמולת ברקאווי, שמשפחת סמארה הייתה חלק ממנה, הוכיחו את עצמן בגיוס לוחמים ואספקה. במרוצת שנות ה-30 הוא התבסס באזור העיירה בלעה , ליד טולכרם, והחל לגייס ולאמן לוחמים מהאזור, ובהם חיילים לשעבר בצבא העות'מאני, בעלי ניסיון קרבי. אחת המטרות העיקריות להתקפות בפיקודו של חאג' מוחמד, היו פרדסי התפוזים של היישובים היהודים ממערב לטולכרם.
במחצית השנייה של חודש מאי 1936, התארגנו חבורות מזוינות של כפריים, שביצעו התקפות מאורגנות על יישובים יהודיים ועל יחידות צבא ומשטרה שעסקו בשמירה. בתחילת יוני פעלו החבורות הללו כבר בכל הארץ ובין מפקדיהן הבולטים היה חאג' מוחמד, שפעל באזור "המשולש הגדול" (שכם–ג'נין–טולכרם). בשל ריכוז פעילות המורדים בו, כינו השלטונות את האזור הזה "משולש הטרור".
חאג' מוחמד היה בין מארגני החבורות שנעשו בהדרגה למפקדים הראשיים באזורי מגוריהם, והאזור בפיקודו היה ואדי א-שעיר, העמק בין טולכרם לשכם. הוא הקים באזורו מבנה היררכי, שבו היה מפקדן העליון של קבוצות (בערבית: פציל, ברבים: פצאאִל) שחולקו על פי כפרים, בפיקודם של מפקדי משנה. לצורך איסוף אספקה נעזר בשניים מקרוביו, ובראש יחידת מודיעין קטנה העמיד מורה בבית ספר שפוטר מעבודתו. בתחום זה נעזר רבות בשוטרים ובפקידים הערבים, שהעבירו למורדים מידע סודי על התקפות צבאיות מתוכננות והטעו את הממונים עליהם בנוגע לתנועות המורדים.
ב-21 ביוני 1936 נערך קרב ענבתא , בו תקפו חאג' מוחמד ואנשיו מן המארב כוח בריטי שאבטח שיירה יהודית שעברה בסמוך לכפר ענבתא. שלושה מטוסים מפציצים בריטיים הוזעקו לסייע לשיירה. הקרב נמשך כשבע שעות והסתיים בכעשרה מורדים ושני חיילים בריטיים הרוגים. בעקבות זאת, הוציאו השלטונות צו מעצר לחאג' מוחמד.
לצד קאוקג'י.
לאחר הגעתו לארץ ישראל של פוזי אלקאוקג'י, הוא נפגש ב-29 באוגוסט עם שלושה מפקדי מורדים מקומיים, וארבעה ימים לאחר מכן עם ששה מפקדים של חבורות גדולות, שמסרו לו הצהרה חתומה שהכירה בו כמפקד הראשי של המרד. חאג' מוחמד השתתף בשתי הפגישות. יחד עם המפקדים החשובים האחרים, היה חאג' מוחמד חבר בוועדה בת שבעה חברים, שעליה הטיל קאוקג'י את האחריות למשימת איסוף הכספים. כמו כן, הקים קאוקג'י "בית משפט של המרד", בו נשפטו בוגדים ומרגלים, שהורכב מארבעה אנשים, בהם חאג' מוחמד. "בית המשפט" הזה דן ערבי אחד שגנב רובה מאחד המורדים ל-100 מלקות והריסת ביתו. שלושה ערבים הוצאו להורג בעוון ריגול, שניים מהם במכות. ב"בית המשפט" הזה נידונו גם גנבים ופושעים למיניהם, ופעולתו החריפה עוד יותר את אווירת הפחד שכבר הייתה קיימת.
בספטמבר נלחמו יחד חאג' מוחמד וקאוקג'י בעימות גדול נוסף עם הכוחות הבריטיים בקרב בלעה , שנסתיים בהצלחה. הקרב נמשך מעל שש שעות ושלושה אנשי צבא בריטיים נהרגו, אחד מהם טייס שהופל על ידי המורדים, שמהם נהרגו עשרה. בזיכרונותיו, כתב קאוקג'י כי חאג' מוחמד "הוכיח עצמו כמנהיג טוב ומפקד ראוי".
אולם באוקטובר 1936, עם סיום השביתה הכללית, עזבו כוחותיו של קאוקג'י את ארץ ישראל וכתוצאה מכך התמוטט המבנה הפיקודי שהקים.
חאג' מוחמד עשה כמותו, ויצא לדמשק כדי לחמוק ממעצר. הבריטים הציעו פרס על ראשו בסך 500 לירות שטרלינג. בזמן שהותו בדמשק, גייס כספים ורכש נשק עבור המרד. כמו כן, הוא החל לעבוד לצד לאומנים סורים ולבנונים במטרה להבריח את כלי הנשק לארץ ישראל. מאוחר יותר עזב את דמשק ועבר לכפר הלבנוני ההררי קרנאיל ממזרח לביירות, משם שמר על קשר סדיר עם כוחותיו.
לאחר חידוש המרד (1937–1939).
מפקד אזור.
בעקבות הדיון בהצעת החלוקה של ועדת פיל, ביקש הוועד הערבי העליון מראשי הכנופיות לחזור לארץ ישראל ולחדש את הפעולות הצבאיות כדי להפעיל לחץ על השלטונות, ובאפריל 1937 חזר חאג' מוחמד לארץ ישראל כדי לפקד על חבורתו באזור "המשולש".
באוקטובר 1937 התחדש המרד, אולם ללא התשתית הארגונית שהייתה לו בתחילתו, עקב הגלייתם ומאסרם של רוב חברי הגופים הלאומיים.
חאג' מוחמד זימן את נכבדי הכפרים בסביבת טולכרם וביקש שכל אחד מהם יספק לו איש חמוש אחד. הוא הצליח לרוב בפעולתו זו וגייס כוח שמנה כ-50 איש.
כוחותיו אורגנו בארבע פלוגות תחת מפקדים שונים, שהיו כפופים לסגנו.
בדמשק קם מטה המורדים החדש, שכונה "הוועדה המרכזית של הג'יהאד" . זו פעלה על פי הוראותיו של יושב ראש הוועד הערבי העליון, אמין אל-חוסייני, מסתיו 1937 ועד סוף המרד. חאג' מוחמד קיבל ממנה הקצבה חודשית בסך 600–800 לירות ארצישראליות, שאפשרה תשלום משכורות חודשיות למורדים במשרה מלאה.
בתחילת דצמבר 1937, נפצע חאג' מוחמד במהלך התנגשות עם כוחות בריטיים בכפר א-נזלה א-שרקיה סמוך לג'נין, אולם הצליח לחמוק בסיוע המוח'תאר, שהוביל אותו למסתור במערה סמוכה עד נסיגת הבריטים. ארבעה מאנשיו נהרגו בקרב.
בסוף דצמבר 1937, לאחר שספגו מספר מפלות בקרבות נגד הצבא הבריטי, נאלצו שלוש חבורות המורדים הפעילות, ובהן החבורה בפיקודו של חאג' מוחמד, להתפזר ולהסתתר בסוריה. בדמשק הוא קיבל טיפול רפואי ובינואר 1938 חזר לארץ ישראל.
המפקד הכללי.
באביב 1938 החל עבד א-רחים חאג' מוחמד לשאת את התואר "המפקד הכללי של המרד".
על אף פעילותם במסגרת מחתרתית, אך מתוך רצון לזכות במעמד, מצאו מפקדי המורדים עניין במדים ובדרגות, וחאג' מוחמד ענד על כותפותיו סמל דרגה של שתי חרבות מוצלבות.
במחצית שנת 1938 שבו רוב המפקדים מסוריה ופעילות המורדים התעצמה בכל הארץ. באוגוסט הם הצליחו להשתלט על ערים רבות ועל רוב הדרכים, וכן על רוב האזור ההררי של הארץ.
המורדים הכפריים הפגינו יחס קשוח מאוד כלפי האוכלוסייה העירונית, שנתבעה לשלם סכומי כסף גבוהים מאוד לטובת המרד. עוינות מעמדית זו כלפי העירוניים, באה לידי ביטוי בצווים שהוצאו החל מאוגוסט 1938. בצו אחד נקבעו כי החל ב-1 בספטמבר ייכנס לתוקף מורטוריום על החובות וכי יש להפסיק את כל התביעות שהוגשו לגביהם לבתי המשפט. העונש על הפרה ראשונה של הצו הזה היה קנס והלקאה, ועל ההפרה הבאה הוצאה להורג. בתור המפקד הכללי, הוציא חאג' מוחמד צו נוסף, שהזהיר את מלווי הכסף העירוניים, "לבל יבקרו בכפרים או ישלחו את סוכניהם כדי לגבות את החובות" ולבל ינקטו נגד החייבים באמצעים משפטיים. כמו כן, הזהיר הצו מפני תיווך או מכירת קרקעות ליהודים.
גביית הכסף מהאוכלוסייה נוצלה על ידי מספר חבורות מורדים וגם על ידי עבריינים לסחיטה ושוד לטובתם הפרטית. בעקבות זאת הוצא כרוז, ככל הנראה על ידי חאג' מוחמד, שהתריע נגד "שימוש בשם המרד למטרות שוד וביזה, בייחוד ביפו" וזכה לשבחה של "הוועדה המרכזית".
היריבות עם עארף עבּד א-ראזק.
במהלך שנת 1938 עוצב מחדש מבנה הפיקוד של המורדים, על בסיס המתכונת של 1936.
על אף היותו המפקד הראשי, שלטונו המעשי של חאג' מוחמד הצטמצם לאזורו, ואף כי חלק מראשי הכנופיות האחרים הכירו בעליונותו, הם לא תמיד נשמעו לו וכמה מהם אף נלחמו בו בפועל. הבולט שבהם היה עארף עבד א-ראזק, שהתחרה בו על הפיקוד העליון.
בסתיו 1938, לאחר ש"הוועדה המרכזית" נכשלה במינוי מפקד ראשי חיצוני למרד, יזמו מפקדי המורדים את הקמת "משרד המרד הערבי בפלסטין", שהורכב ממפקדים אזוריים ובהם חאג' מוחמד, והוסכם שכל אחד מהם יכהן כראש המשרד לפי תור. אלא שהמשרד לא הצליח לפעול כמפקדה צבאית עליונה וחבריו נותרו עצמאיים.