בתגובה ליחס האופוזיציה כלפיהם, הכין פיקוד המורדים רשימה של אישים בולטים מהאופוזיציה שיש לרצוח אותם, ולמבצעים הובטחו פרסים כספיים. נכבדים כפריים הושפלו בדרכים שונות. בסוף 1938 ותחילת 1939 מסע הטרור נגד האופוזיציה התגבר וערבים רבים נרצחו, בעיקר "בוגדים" למיניהם: מוכרי קרקע ליהודים, שוטרים ערבים שנותרו נאמנים לתפקידם, מודיעים ומתונים שלא היו מספיק לאומיים לטעמם של המורדים. לא תמיד הם נרצחו מיד. לפעמים הם נחטפו לאזורים ההרריים ושם נזרקו חיים לבורות מלאים בנחשים ועקרבים. הפחד הגדול מפני המורדים גרם לכך שאנשי הדת המוסלמים או הנוצרים לא הסכימו לקבור את הנרצחים בטקס הדתי. לפעמים היו הגוויות נשארות מוטלות ברחובות הכפר במשך מספר ימים, כשנעל מונחת בפיו של הנרצח, כסמל להשפלה, שתגרום גם להטלת פחד על אחרים.
הסיוע הכספי של הוועדה המרכזית בדמשק לא הספיק לקיום כל המורדים ואלה נאלצו להתרים את התושבים. הוועדה המרכזית דרשה שההתרמה תיעשה באופן מסודר ובדצמבר 1938 הדפיסה קבלות ושוברי תשלום, ודרשה מהמורדים לקבל כספים רק כנגד האישורים הללו. אך ככל שנתדלדל הסיוע של הוועדה, התרבו מעשי הסחיטה באמצעים אלימים וגבר השימוש לרעה בכספים שנאספו. הסכומים הגבוהים נתבעו מהעירוניים, ואילו הכפריים נתבעו לספק מזון, בגדים ותחמושת. במקרה שכפר היה נתבע לשלם כסף, המוח'תאר היה גובה את הכסף מהמשפחות. התביעות הכספיות הללו הידרדרו לסחיטות כספים יום-יומיות למטרות פרטיות.
"כנופיות השלום".
בין ראשי כנופיות הטרור השונים היו סכסוכים פנימיים בלתי פוסקים והתחרות ביניהם הפכה למלחמה ממש, כאשר הכנופיות החלו יורות אלו באלו וראשיהן רוצחים זה את זה. בתחילת 1938 החלו לצוץ כנופיות מקומיות קטנות, שנוצרו לשם הגנה על כפריהן ומשפחותיהן מפני פגיעה של כנופיות אחרות.
ביולי אותה שנה, הפציר פח'רי נשאשיבי בנכבדים מהכפרים באזור ירושלים שלא להיכנע למורדים ועודד אותם להקים חבורה מזוינת שתילחם ב"טרוריסטים של המופתי".
באוקטובר-נובמבר 1938 החלו להתארגן "כנופיות השלום" נגד הטרור. נשאשיבי, שהיה בעצמו המסית הראשי ביפו באפריל 1936, היה עתה העסקן הפוליטי שארגן את הטרור הנגדי, תוך שיתוף עם הצבא הבריטי. המפקד הצבאי של "כנופיות השלום" היה פח'רי עבד אל-האדי, מי שהיה המפקד הראשי של כנופיות הטרור בתחילת המהומות. עבד אל-האדי, שעזב את הארץ עם כוחותיו של קאוקג'י באוקטובר 1936, חזר בסוף בספטמבר 1938 לארץ ישראל בראשה של חבורה הכוללת גולים פלסטינים אנטי-חוסיינים בדמשק, מחוזקים בלוחמים דרוזים מהר הדרוזים. החבורה החלה לתקוף את המורדים ואת הכפרים שסייעו להם והצליחה לגרום לחבורות שבפיקודם של חאג' מוחמד ועבד א-ראזק לסגת מאזור ג'נין לאזור שכם-טולכרם. הצלחה זו באה יחד עם הצלחות הצבא ואלו הביאו לעריקות מחבורות המורדים. מאוחר יותר הצליחו "חבורות השלום" לסלק לגמרי את המורדים מהשומרון הצפוני.
פח'רי נשאשיבי פעל באזור ירושלים-חברון ופרסם כרוזים בהם תקף את אמין אל-חוסייני וקרא לכפריים להצטרף לחבורות השלום. בדצמבר 1938 הוא כינס בכפר יטא 3,000 כפריים שהביעו את תודתם של תושבי הר-חברון לצבא על שהסיר מהם את אימת הטרור הפנימי. בכינוס השתתפו הגנרל ריצ'רד אוקונור, המפקד הצבאי של מחוז ירושלים, והשיח' רשיד שחאדה עראם, מנהיגם של כפריי חברון, שנשא נאום שגינה את מסע הטרור של אמין אל-חוסייני ושליחיו.
אולם העיתונות הערבית בארץ ובארצות השכנות סירבה לפרסם את הודעותיו של פח'רי נשאשיבי.
בעקבות הטרור הנגדי של "כנופיות השלום", כמה מאוהדי הוועד הערבי העליון, נרצחו או נאלצו לברוח מן הארץ, בזמן שנשאשיבים ואוהדיהם שנמלטו בעצמם קודם לכן מפחד הטרור של החוסיינים, החלו לשוב לארץ.
הצבא הבריטי שיתף פעולה עם "חבורות השלום" באמצעות אנשי המודיעין של חיל האוויר המלכותי. הוא סיפק להן כסף ונשק וקיבל מהן מידע על תנועות המורדים, מיקום מחסני הנשק שלהם וזהות תומכיהם. אולם נשאשיבי נכשל בשכנוע הבריטים שכדאי להם לנהל משא ומתן עם האופוזיציה, ובניגוד לצבא, הממשלה האזרחית והבולשת של המשטרה נמנעו מלסייע לחבורות השלום.
דיכוי המרד.
באוקטובר 1938 הגיעו לארץ ישראל תגבורות צבאיות, ששינו את המצב לטובת השלטון. הודות לסלילתן של דרכים חדשות באזורים ההרריים, השתפרה הגישה אליהם והצבא יכול היה לרדוף אחרי המורדים. הצלחתו הגדולה הראשונה נרשמה בירושלים. ב-15 באוקטובר נכנס מספר גדול של מורדים אל העיר העתיקה והשתלט עליה. המורדים העלו את תחנת המשטרה באש. השוטרים נמנעו מכניסה לתוך הסימטאות ודגל פלסטיני הונף מעל שער שכם, מול משרדי הממשלה, ולא הורד משם במשך ימים רבים. ב-18 באוקטובר החל הצבא בכיבוש מחדש של העיר העתיקה. החיילים נכנסו לעיר כשהם מצעידים לפניהם ערבים מקומיים. המורדים העדיפו להתבצר במתחם הר הבית, שאליו לא נכנסו החיילים, ובלילות טיפסו מעבר לחומות ויצאו מהעיר העתיקה, ששבה לשליטת הצבא רק לאחר חמישה ימים. בסוף אוקטובר הונהג המשטר הצבאי על כל הארץ, שחולקה לארבעה מחוזות צבאיים. באמצע נובמבר נכבשו מחדש יפו ועכו, אולם יריחו ובאר שבע נותרו בשליטת המורדים. בסוף דצמבר הופעלה מחדש מסילת הברזל בין לוד לירושלים והצבא החל לחדור מחדש אל האזורים הכפריים, כדי להשיב בהם את מרותו של השלטון.
הבריטים השתמשו במעצרים מנהליים ובענישה קולקטיבית, כגון הטלת עוצר.
הצבא הפעיל אמצעים דרסטיים בכפרים. נהרסו בתים שאכסנו מורדים או שירו מתוכם. נעקרו פרדסים וכרמים. הוטלו קנסות קיבוציים. הוקמו משטרות בכפרים על חשבון תושביהם. על הרכבות ולפעמים גם על כלי רכב צבאיים הגנו בעזרת מגנים אנושיים: הגברים במשפחתו הגרעינית של מפקד החבורה הפעילה באזור, או לחלופין הנכבדים המקומיים, נצטוו לנסוע בקרוניות האבטחה שנסעו לפני הרכבות. עקב כך, הפסיקו המורדים לחבל ברכבות והכפריים פחדו מהצבא יותר משפחדו מפני המורדים והפסיקו לכלכל אותם. כישלונותיהם של המורדים דחפו אותם לזנוח את התקפות הגרילה על הצבא לטובת טרור אישי, שכלל גם הצתות ויריות על יהודים בתוך הערים.
בתקופה זו הגיע לשיאו שיתוף הפעולה בין הצבא הבריטי לבין המוסדות היהודיים. שירות הידיעות של ההגנה והלשכה הערבית של הסוכנות היהודית סיפקו לכוחות הביטחון מידע רב על חבורות המורדים. פלוגות הלילה של צ'ארלס אורד וינגייט לחמו בהם בהצלחה בגליל התחתון ובעמק יזרעאל. בתקופה זו כבר לא יכול היה המטה בדמשק לספק כסף ונשק למורדים ובסוף נובמבר 1938 פנה אמין אל-חוסייני אל הקונסול הגרמני בביירות בבקשה לאספקה דחופה של ציוד צבאי. אולם משרד החוץ הגרמני לא רצה להסתבך בעימות עם בריטניה וסירב לבקשה. מספר המורדים ירד, חבורות רבות התפזרו ובינואר 1939 כמה מחשובי המפקדים עברו לדמשק, ובהם עבד א-ראזק, יוסוף אבו דורה וחאג' מוחמד.
ב-13 באפריל 1939 עזב עבד א-ראזק את הארץ ומסר עצמו לשלטון הצרפתי בסוריה, שהעביר אותו למעצר בית בתדמור. בעקבות גילוי מאגר הנשק של כנופייתו בשומרון, עזב אבו דורה לעבר הירדן המזרחי וביולי נתפס בידי הלגיון הערבי. שלטונות עבר הירדן הסגירו אותו למשטרה של ארץ ישראל וב-1940 הוא נדון למוות ונתלה בעוון רצח מוח'תאר.
לקראת פרסום הספר הלבן, לחצו מפקדי המורדים על הוועד הערבי העליון לדחותו לכשיפורסם. ב-10 באפריל 1939 הם הכריזו כי אינם כפופים לחוסיינים או לנשאשיבים ואינם מעוניינים בהפוגה. מטרתם היא עצמאות מלאה, תחת הסיסמה: "האנגלים לים והיהודים לקבר". לאחר שפורסם הספר במאי 1939, הם דחו אותו (בעיקר משום שהוא לא כלל חנינה למורדים) ואף ניסו לחדש את המרד.
במהלך המחצית השנייה של שנת 1939 עוד נעשו מעשי אלימות בודדים, אולם בסוף אותה שנה כבר שקטה הארץ.
תוצאות השלב השני של המרד.
בשנים 1937–1939 נתלו למעלה מ-100 ערבים על מעשים הקשורים במרד. עד לסוף המרד במרץ 1939, נהרגו למעלה מ־5,000 ערבים, 400 יהודים ולמעלה מ-150 בריטים.
כמה מראשי הכנופיות ברחו מן מהארץ, וחלקם חזרו אליה במשך השנים. מאלה שנשארו בארץ, חלקם נאסרו וכמעט כולם שוחררו בזמן מלחמת העולם השנייה. חלקם האחר המשיך להסתובב בהרים כנרדפים. רוב ראשי הכנופיות הצליחו בסופו של דבר לחזור לחייהם האזרחיים.
הטרור הפנים-ערבי יצר חשבונות דמים ורגשות נקם. ראע'ב נשאשיבי אמר באפריל 1939: "לפנינו חמישים שנה שהערבים יהרגו בהן איש את אחיו כנקמה על מה שאירע בימי המהומות". רציחות הנקמה אכן נמשכו גם לאחר תום המרד, למשך מספר שנים. בין הנרצחים היו גם שני מארגני "כנופיות השלום", פח'רי אל-נשאשיבי ב-1941 בבגדאד ופח'רי עבד אל-האדי ב-1943 בכפר שלו, עראבה. עוצמת השנאה הבין-סיעתית מנעה מהפלסטינים להסכים בתום מלחמת העולם השנייה על מנהיגות מאוחדת והוועד הערבי העליון הוקם מחדש ב-1946 על ידי גורם חיצוני - הליגה הערבית.
ועידת השולחן העגול והספר הלבן של מקדונלד.
בניסיון אחרון לפתור את בעיית הסכסוך היהודי-ערבי הקימה ממשלת בריטניה את ועדת וודהד באפריל 1938. סיכומי ועדת וודהד כללו שתי הצעות חלוקה חדשות, המנוגדות להצעת ועדת פיל, שפורסמו ב-9 בנובמבר 1938. ועדת וודהד נכשלה ומסקנותיה נדחו על ידי הערבים והיהודים כאחד.
כפועל יוצא מכישלון הוועדות הקודמות, זימנו הבריטים את ועידת השולחן העגול. הוועידה התקיימה בין ה-7 ל-17 בפברואר 1939, ואף היא נחלה כישלון.