מאורעות תרפ"ט החדירו להנהגת היישוב את הצורך החיוני בהגנה המאורגנת. בן-גוריון כתב בשנת 1933: "בחריפות יתרה מתייצבת בפנינו שאלת הביטחון. כל מה שנעשה עד עכשיו בנידון זה - אינו עומד בשום יחס והתאמה לצורך החיוני". ואכן, על מנת לספק ליישוב ביטחון מוגבר מפני מאורעות עתידיים, החלה "ההגנה" בתחילת שנות השלושים לצמוח לארגון לוחמה רב-ענפים. היא החלה לקבל תקציבים מהסוכנות היהודית, ובמסגרתה נבנו והשתכללו תחומי הפעילות לשלל תחומים שארגון ביטחוני וצבאי של "מדינה שבדרך" זקוק להם, ובכלל זה הקמת מטה ארצי מרכזי והתארגנות לפיקודים אזוריים שנועדו לשלוט על כל יישובי הארץ, רכש נשק וייצור תחמושת עצמי, תוכניות אימונים והכשרות אינטנסיביות לחברים ולמפקדים, ופיתוח טקטיקת הפעולה במרחב הארצי. פעילות זו, גם אם הייתה בתחילה לא מספקת, סייעה ל"הגנה" להיות מוכנה למאורעות המרד הערבי ב-1936.
המפקדה הארצית והתארגנות מבצעית.
חלק מלקחי מאורעות תרפ"ט היה לבנות מחדש את "ההגנה" כמסגרת כלל ארצית מאוחדת בעלת עתודה מרכזית, שניתן להפעילה בגמישות בכל יישוב שהותקף. אולם ההסתדרות הציונית התקשתה לתמוך בה כלכלית, והייתה נכונה למסור אותה לרשות הוועד הלאומי ולשתף את החוגים האזרחיים ביישוב בניהולה. החל מ-1930 הועבר הפיקוד על "ההגנה" למפקדה הארצית, גוף שהופקד על הניהול הפוליטי-אזרחי של הארגון והורכב משישה חברים (שלאחר מכן הורחב לשמונה), שהתחלקו בין אנשי ההסתדרות ובין אנשי המחנה האזרחי (נציגי התאחדות האיכרים, הסוחרים, בעלי בתים והתעשיינים) בחלוקה שווה, כמעין ועדה פאריטטית (המורכבת ממספר שווה של נציגים מכל צד). תפקידה של המפקדה הארצית היה ללבן יחדיו בעיות שונות שהועברו אליה. ב-1936 הוחלט למנות חבר נוסף, שיהיה נייטרלי, לתפקיד ראש המפקדה הארצית (רמ"א), וב-1939 הוקם להגנה מטה כללי עליו פיקחה המפקדה הארצית, שנועד לארגן ולהנהיג את הפעולות המבצעיות של הארגון. "ההגנה" הייתה כפופה מעתה ואילך למרות הנהגת היישוב - הוועד הלאומי והסוכנות היהודית בראשותו של דוד בן-גוריון, שנחשב כמעין "מפקד העל" שלה, ולמעשה היה בה רוב (גם אם לא רשמי) לאנשי מפא"י.
"ההגנה" החלה בשנים אלה להתארגן כארגון מבצעי של ממש בעל סדר ותיאום ברמה כלל ארצית. כדי ש"ההגנה" תוכל להגן על כל יישוב בכוח משותף של האזור כולו (הגנה מרחבית), היא חולקה לגושים אזוריים. היישובים החקלאיים אוגדו ל-18 גושים, כשלכל גוש היה מפקד, מדריכים, מחסנאים ובעלי תפקידים שונים. לאחר מכן אוחדו גושים אלו לארבעה מחוזות עיקריים, הדרום, השרון, השומרון והצפון, וכן שני גושים עצמאיים: גוש דן ופתח תקווה. הערים הגדולות (תל אביב, ירושלים וחיפה) היוו כל אחת גוש נפרד, כי שם היו מצבורי כוח האדם והנשק המרכזיים של הארגון. המפקדה הארצית הייתה מוגבלת באמצעי פיקוח על הגושים ועל דרכי פעולתם.
על מנת להפוך את הארגון לצבאי ומסודר יותר, החלו בראשית העשור לארגן קורסים ואימונים אינטנסיביים, וכן לרכוש ולפתח אמצעי לחימה ואמצעי קשר:
הפילוג.
במשך שנות המנדט הבריטי היו ויכוחים רבים בצמרת היישוב בדבר המדיניות שיש לנקוט כנגד מתקפות הערבים: הבלגה או התקפה. לאחר מאורעות תרפ"ט גברה מדיניות ההבלגה, שנועדה להראות לבריטים שמקור אי-השקט בארץ איננו הציבור היהודי. מדיניות זו לא נשאה חן בעיני חלק מהחברים, בעיקר אצל מפקד סניף ירושלים של ההגנה, אברהם תהומי, שמתח ביקורת קשה על הארגון ולאחר שהוחלף בתפקידו בעת שנסע לחו"ל ולא נענו לבקשתו למנותו שוב, פרשו הוא וחלק מחבריו הירושלמים מן ה"הגנה" והקימו באפריל 1931 את "ארגון הגנה ב'" במטרה להקים ארגון צבאי של ממש, שלא יבליג על מתקפות הערבים. אולם, "ארגון ב'" לא היה מסוגל להעמיד כוח של ממש, והפך ליעד לגיוס של חברי בית"ר והתנועה הרוויזיוניסטית, בעיקר. בשנת 1936, על רקע המצב הביטחוני המעורער בארץ עם החרפת המרד הערבי ופרסום תוכנית החלוקה של ועדת פיל, חזרו תהומי וחלק מחבריו חזרה ל"הגנה". הקבוצה שנשארה ולא חזרה להגנה הפכה ב-1937 למסגרת המחתרתית של התנועה הרוויזיוניסטית תחת מרותם של זאב ז'בוטינסקי והצ"ח ונקראו האצ"ל.
המרד הערבי ותגובת "ההגנה".
המרד הערבי הגדול (או כפי שכונה ביישוב "מאורעות תרצ"ו-תרצ"ט"), שהתחולל בשנים 1936–1939, הביא את ארגון "ההגנה" לידי שינוי טקטיקה, לאחר שהערבים עברו מהסתערויות המון נקודתיות לעבר פעולות איבה מאורגנות היטב בכל הארץ: יהודים נורו בזמן שעבדו, נסעו וטיילו, וגידולים חקלאיים רבים נשרפו. כאלפיים אירועי דמים התרחשו בשנה הראשונה למרד, עם למעלה מ־80 הרוגים יהודים. כתגובה, שילבה "ההגנה" מאמץ משותף ביחד עם הבריטים בגיוס שוטרים יהודים במטרה להגן על היישובים היהודיים. עם התגברות פעולות האיבה, פותחה בארגון אסטרטגיה ביטחונית חדשה שכונתה "יציאה אל מחוץ לגדר" על מנת לתקוף את התוקפים בבסיסיהם, ולשם כך הוקמו יחידות לוחמים מיוחדות:
הנוטרות.
בתגובה למרד הערבי הגדול, הגבירה "ההגנה" באותה תקופה את שיתוף הפעולה עם הבריטים, שראו כי המרד מערער את יציבות האזור, מצריך מהם כוח אדם רב ומופנה גם נגדם. אף על פי שהבריטים היו מודעים לכך שבשיתוף "ההגנה" במאבק בערבים הארגון קיבל תוקף חוקי, הם קיבלו זאת מחוסר ברירה משום שהזדקקו לכוח אדם. הנהגת היישוב רצתה להופיע בעיני הבריטים כגורם שקול המעוניין בשמירת הסדר בארץ, ולא כצד השותף לאלימות. עמדה זו גם תאמה את יכולתה של ה"הגנה" בתחילת המאורעות, כשהיא עדיין הייתה מורכבת מיחידות מקומיות ופחות יכלה לפעול ככוח כלל ארצי שהצריך גיוס מסיבי. שיתוף פעולה זה התבטא בגיוס אנשי "ההגנה" לכוחות המשטרה הבריטית, במה שכונה בשם נוטרות. יחידות הנוטרים שולבו במסגרת חיל העזר למשטרה הבריטית, ובאבטחת נקודות רגישות כמו הרכבת, נמל חיפה, גדר הצפון, שדות התעופה, חברת החשמל ועוד. יחידת נוטרות גדולה הייתה משטרת היישובים העבריים. שוטריה היו כפופים באופן רשמי לצבא הבריטי שסיפק להם נשק ואימן אותם, אך למעשה פיקד עליהם ארגון "ההגנה". אט אט הם נוצלו לפעילויות שונות של הארגון כמו העברת נשק, תוך שימוש במסווה חוקי. ביוני 1936 מספרם היה כ-1,300, אולם בסוף אותה שנה הוא עלה לכ-3,000. כחלק מגוף זה הוקמו המשמרות הנעים, שתפקידם היה לפטרל בדרכים, לסלק מוקשים, ללוות פועלים ולהכין מארבים לפורעים. המשמרות היו יעילים ביותר, נעו בחופשיות ובכך חיפו על פעולות ההגנה השונות בהתיישבות ובמערכה הצבאית. כ-60 משמרות נעו בכל רחבי ארץ ישראל ופעלו בכל יישוב עברי.
'יציאה אל מחוץ לגדר'.
עם התמשכות המאורעות ובמקביל לפעילות הלגאלית, החליטו ב"הגנה" לעבור מפעולות הגנתיות בלבד כנגד התוקפים הערבים לפעולות אקטיביות ויזומות. אסטרטגיה זו כונתה "יציאה אל מחוץ לגדר" קרי, יציאה לפעולות יזומות וניידות, מעבר לגדרות היישובים, כדי לקדם את פני התוקפים ולפגוע בבסיסיהם. לשם כך הוקמו מחדש פלוגות נודדות, שנקראו הנודדת, במטרה לפגוע בתוקפים באופן ממוקד ולערער את ביטחונם. הם היו כוחות מצומצמים של לוחמים שנעו בשדות בלילות והתקיפו את הכנופיות בעורפן, עוד לפני הגיען ליעד היישובים ואף כשהן ליד בסיסיהן. ב-1937 הנודדת התפתחה לפלוגות השדה (פו"ש), בפיקודם של יצחק שדה וסגנו אליהו בן חור, שביצעו מארבים, מרדפים ופשיטות על בסיסי הכוחות הערבים, וכן סיורים בשטחי הכפרים הערביים על מנת לאתר בסיסי אויב ולפגוע בהם. למרות התכנון שפלוגות אלו יהוו מעין 'צבא שבדרך', עקב אילוצים שונים הן פעלו במערך מקומי בלבד של היישובים והמחוזות השונים ולא אורגנו ככוח כלל ארצי. למרות זאת, הפו"ש קידם בצורה דרמטית את ה"הגנה" ברמת הלחימה, באימונים והפעלת הכוחות בשטח שהיו ברמה צבאית לכל דבר ועניין, כולל תרגילי כיתה חמושים, תמרון, אימוני הסתערות, סדר ומשמעת צבאיים של לוחמים צעירים שהיוו את הדור החדש של הארגון. הפו"ש התקיים עד סוף פברואר 1939, וכשדעכו פעולות האיבה הוא פורק.
ב-1938 פותחו בכמה אזורים גם הפלוגות המיוחדות (הפו"ם), לפגיעה פיזית באנשי הכנופיות ובסייעניהם. אנשיה נמנעו ככל הניתן מפגיעה בחפים מפשע. ב-1939 החליף את הפו"ש חיל השדה שנועד להיות הכוח הצבאי החדש והגדול של ההגנה, אך מלחמת העולם השנייה והגיוס לצבא הבריטי גרמה לעיכוב משמעותי בהתפתחותו, עד 1946. בתחילה הוקמו שני גדודים בחיפה ושניים בירושלים, כשחלק מהמתנדבים והמפקדים היו נוטרים.
אנשי הפו"ש השתלבו גם בפלגות הלילה המיוחדות שהוקמו ב-1938 על ידי הקפטן הבריטי אורד צ'ארלס וינגייט. הוא קיבל רשות מהמפקדה הבריטית להקים יחידות חדשות בפיקודו, במטרה להילחם בכנופיות הערביות. הפלוגות הורכבו בעיקר מאנשי "ההגנה" ופעלו באזור עמק יזרעאל והגליל התחתון לפי האסטרטגיה שפיתח, בהם הפתעת האויב באמצעות מארבים ניידים בשעות הלילה, בתכסיסי הטעיה ולאחר איסוף מודיעין בשטח. לאחר שנתיים של פעילות, וינגייט הוצב מחוץ לארץ ישראל והפלוגות התפרקו זמן קצר לאחר מכן, ביולי 1939. תורת הלחימה שהנחיל וינגייט שימשה את "ההגנה" במשך מרבית שנות פעילותה.
רכש ותע"ש.