ב-1934, בגיל 16, התקבל אלון ללימודים במחזור הראשון של בית הספר החקלאי כדורי שאך נוסד בסמוך למסחה, ואף עסק בבנייתו על מנת לעזור לממן את לימודיו. ב'כדורי' התחוור לו כי השכלתו הייתה מצומצמת לעומת חבריו שבאו מהעיר, אך המורים עודדו אותו כשהרגישו שהוא זקוק לעזרה, מתוך תחושה שטמון בו "יהלום המכוסה אבק". למרות חולשתו בלימודים, שמר על מעמדו החברתי בהיותו בן כפר הבקיא בחקלאות וברכיבה. בשנת 1936 הוזעק עם חבריו ב'כדורי' לעימות עם רועים ערבים שפלשו לשדות מסחה. הם נעצרו על ידי הבריטים אך יצאו זכאים בדין, כשאלון שימש כעד המרכזי במשפט. כבן של איכר שהעסיק עובדים שכירים, השתייך אלון בנעוריו לימין החקלאי המתון, וייסד בכפרו את הסניף של תנועת הנוער ה"בורגנית" "המכבי הצעיר", אך בכדורי החל לנטות מעט שמאלה, והעיד כי "משכמו ומעלה היה שלמה צמח מנהל בית הספר, שקרע בפני צוהר לערכי חברה ואדם ובעקיפין – אל תנועת העבודה".
את המעבר המלא לתנועת העבודה הגשים אלון עם הצטרפותו שלו ושל חבריו מ'כדורי' בשנת 1937 לקיבוץ החדש גינוסר. אביו לא עמד בדרכו להגיע לקיבוץ וביקש רק כי עם סיום הלימודים יבוא לעזור לו לסיים את עונת הקציר, אך לאחר מכן התאשפז ונדרש להחלמה ארוכה מחוץ למשק. אלון החליט לחסל את משק אביו ובלי לשאול איש, מכר את בעלי החיים שלו ויצא עם זוג פרדות ועגלה על מנת למסור אותן לאחיו ביישובים הסמוכים. אחיו כעסו עליו מאוד על שחיסל את המשק, אך כששמע זאת אביו, הוא רק העיר להם "ואתם נתתם לו לנסוע לבד בעגלה בימים כאלה?" יש הרואים במעשה זה את תחילת דרכו העצמאית של אלון.
גינוסר (1937–1939).
לאחר שנה של שירות כנוטר (ראו להלן) הצטרף אלון לקיבוץ גינוסר יחד עם חבריו מ'כדורי'. הוא הסביר את הסיבות להצטרפותו לקיבוץ, השונה מבית גידולו, בכך ש"לא מהפכנים ולא להט המילים הובילו אותי, אלא משמעות הימים ההם – הקיבוץ נתן תשובה נאותה לביטחון, להתיישבות ולתיקון עולם חברתי".
גינוסר באותה התקופה הייתה חצר קטנה באזור מסוכן ומבודד, רוחש כנופיות ערבים. בנוסף לכך, חברת ההתיישבות פיק"א שאפה להורידו מהקרקע בטענה שמדובר בהשתלטות על אדמותיה. באוקטובר 1939, עקב הטיית מי הקיבוץ והתקפה על שלושה נוטרים ששמרו על המים על ידי אנשי הכפר הסמוך אבו שושה, הוביל אלון מספר חברי קיבוץ להתקפה בתוך הכפר הערבי. ההתקפה, שגררה שני נפגעים ערבים, הובילה את הבריטים לפתוח בחקירה ולכלוא את ראשי הקיבוץ, ואלון התמנה במקומם למזכיר המשק. בתפקידו זה, שנמשך כשנה וחצי, הוא קבע עובדות בשטח בסכסוך הקרקעות מול פיק"א, כשהחליט לחרוש שטחים מעוּבּדים הסמוכים לגינוסר ולהגדיל בכך את שטח הקיבוץ, גם תוך עימות עם פיק"א ועם המושבה הסמוכה מגדל. כמו כן, הוא דחף את הקבוצה להצטרף לתנועת הקיבוץ המאוחד, שנראתה לו ולחבריו כמי שתיתן את הגב החזק ביותר לבעיות הקיבוץ; נאם בשם הקיבוץ בכנס התנועה בגבעת השלושה ועשה רושם רב על ראשיה. במיוחד התיידד עם המנהיג ברל כצנלסון, שגם עזר לו ליישב את הסכסוך מול פיק"א. כך השלים למעשה את המעבר הרעיוני והמעשי לתנועת העבודה.
באותה התקופה פגש אלון בגינוסר ברות אֶפּיסדורף, שעלתה מגרמניה ב-1934 והצטרפה לחברת נוער גרמנית בתל יוסף. לאחר רומן קצר נישאו השניים, כנראה ב-1939.
בהגנה ובפלמ"ח.
נוטרות ופו"ש (1936–1939).
בקיץ 1936, עוד בטרם סיים את לימודיו ב'כדורי', החל גל פעולות איבה של הערבים בארץ (המרד הערבי הגדול). בתגובה למאורעות אלה התגייס אלון לנוטרות – כוח הגנה על היישובים העבריים שהוקם באותה עת בחסות בריטית. הוא ביצע הגנה ניידת בלילות באזור הגליל התחתון על גבי טנדרים בפיקודו של נחום שדמי, ועד מהרה התבלט והתמנה למפקד טנדר ועליו צוות נוטרים, שהגן על גוש טבריה. ב-1937 פגש במסחה ביצחק שדה, שגייס באותה עת צעירים לפלוגות השדה (הפו"ש) שהקים במסגרת ארגון "ההגנה", והגיע למסחה לאחר ששמע על מפקד הנוטרים הצעיר. שדה הורה לו לאסוף את חבריו, וכולם יצאו למארב לילי ליד אחד מכפרי הערבים בסביבה. לאחר מכן שטח את מטרתו בפניהם – יציאה למארבים והתקפות בכפרים ערביים בשעות הלילה, על מנת להקשות על הערבים לתקוף את היישובים היהודיים. "אם נשכיל לשנות את התכסיסים, הערבים יעברו למגננה ויצומצם כוח ההגנה שלנו. לא נלך בדרכי רצח ולא נפעיל טרור אישי" אמר להם. רעיון זה הרשים מאוד את הצעירים ובמיוחד את אלון: "רסיסי מחשבה שהתרוצצו זמן רב בראשנו התגבשו לפתע לדוקטרינה שלמה" אמר. מכאן ואילך, הפך שדה לחונכו ומפקדו של אלון למשך שנים ארוכות.
אלון עבר קורס מ"כים של הפו"ש, ובסוף 1937 יצא לקורס מפקדי מחלקות בכפר ויתקין ובג'וערה (שבו השתתף גם משה דיין) והתבלט שם מאוד. במרץ 1938 השתתפו דיין ואלון במבצע העלייה לחניתה במסגרת חומה ומגדל כמפקדי טנדרים של הפו"ש, וכוחותיהם הניסו כנופיה שתקפה פועלים בדרך לקיבוץ (שם גם צולמה התמונה המפורסמת שבה יצחק שדה מחבק את שני "יורשיו" לעתיד, אלון ודיין). אלון הפך למפקד המשמר הנע של גוש הגליל התחתון ונודע בשיטות הפעולה שלו לגירוש ערבים שעלו עם עדריהם על שדות היהודים ובמארבים שטמן לכנופיות שחדרו ליישובים. בתגובה לרציחות שביצעו כנופיות ערביות על יהודים, הוא פיקד על פעולות תגמול שכללו פיצוץ בתים (לאחר שהוצאו מהם האנשים) בכפרים מהם פשטו הרוצחים.
עם פירוק הפו"ש ב-1939, עזב אלון את הנוטרות ונשלח להדריך בקורס מפקדי מחלקות של "ההגנה" ביבנאל. בעקבות גילוי המחנה על ידי שני שוטרים בריטים, הוא תכנן והוביל קבוצה מחניכי הקורס במסע רגלי לג'וערה עם חניית ביניים במסחה. הם הגיעו בשלום, אך הקבוצה השנייה, שהלכה בדרך אחרת ונודעה לימים כ"המ"ג", נתפסה עם נשקה על ידי חיל הספר העבר-ירדני ונכלאה למשך כשנתיים.
בפלמ"ח (1941–1943).
במאי 1941 החליטה המפקדה הארצית של "ההגנה" להקים את הפלמ"ח, מתוך הכרה כי היישוב זקוק לכוח צבאי עצמאי וסדיר המתאמן באופן קבוע, שייטול את היוזמה מאויביו ויהיה בהיכון בעת אפשרית של פלישת גרמניה הנאצית לארץ ישראל. מפקדי שתי הפלוגות הראשונות של הפלמ"ח גייסו בעצמם את אנשיהם: אלון נקרא לעמוד בראש פלוגה א' בכפר גלעדי, שאת אנשיה גייס ממושבות הגליל והעמק, רובם יוצאי הפו"ש, ומשה דיין עמד בראש פלוגה ב' שהתאמנה בחניתה.
תוך כדי האימונים, נקראו שתי הפלוגות בראשותם של אלון ודיין לסייע לשתי הבריגדות האוסטרליות שעמדו לפלוש לשטחי לבנון ביוני 1941, כחלק מהמערכה במלחמת העולם השנייה. הן נדרשו לשמש כמורי דרך ולהחזיק בגשרים. עקב הזמן הקצר שעמד לרשותם הם לא הספיקו להתאמן, לא היה ביניהם אנשים שהכירו את סוריה והם נאלצו לגייס ערבים מהסביבה כסיירים. הכוח של אלון הצליח לתפוס את הגשרים על הליטאני באזור מרג' עיון, אך הסתבכותו של הכוח האוסטרלי מנעה את חבירת האוסטרלים אליהם, ולאחר שהחזיקו בגשרים כ-24 שעות, נאלצו אלון ואנשיו לסגת, והצבא הצרפתי פוצץ אותם. דיין החליט לכבוש תחנת משטרה והתפתח שם קרב קשה בו איבד את עינו. זו הייתה ההשתתפות הישירה הראשונה של הפלמ"ח בפעולת מלחמה בחזית, ולמרות תרומתה המוגבלת, היא הפכה למיתוס בפלמ"ח ובסיס לבנייתו ככוח לוחם.
לאחר הפעולה בסוריה המשיך אלון לעמוד בראש פלוגה א', ובינואר 1942 מונה לעמוד בראש המחלקה הסורית, שהייתה יחידת המסתערבים הראשונה של הפלמ"ח. היחידה פעלה בסוריה ובלבנון במטרה להכין תשתית למודיעין ופעולות חבלה למקרה של כיבוש גרמני. אלון פעל לקידום המחלקה בשלושה מישורים: הגדלתה, שיפור מיומנות המסתערבים והכשרתם בהתחזות ובפעילות סמויה מן העין במדינה ערבית, וחתירה לעצמאות המחלקה מפיקוד הבריטים. הוא לא נטה לשתף פעולה עם הבריטים שפיקחו על המחלקה, אותם ראה עדיין בחזקת אויב שלא נטה חסד עם אנשי הארגון (דבר שהרגיז אותם מאוד). עם ירידת הסיכוי לפעילות מבצעית עקב התרחקות הסכנה הנאצית בגזרת הים התיכון וירידת המורל של אנשיה, הוחלט לפרק את היחידה, שלא זכתה להצלחה ממשית.
בפיקוד הפלמ"ח (1943–1946).
בשנת 1943, לאחר שדוד נמרי החליט לעבור לתפקיד אחר, מונה אלון להחליפו כסגנו של מפקד הפלמ"ח, יצחק שדה. מינוי זה התקבל בפלמ"ח כבחירה טבעית ללא עוררין, ושדה נתן לו גיבוי מוחלט. אלון עסק בעיקר בארגון, מנהל ותקציבים, על מנת שהפלמ"ח ימשיך לתפקד בפועל. הוא זה שניהל את ישיבות מטה הפלמ"ח במקומו של שדה, עיבד את רעיונותיו לתוכניות מעשיות בפועל, היה נושא ונותן עם סגל המפקדים בפלמ"ח והשתתף יחד עם שדה בדיונים עם רמטכ"ל "ההגנה", יעקב דורי.
אלון דגל במערכת יחסים בלתי פורמלית בין המפקדים לטוראים בפלמ"ח. הוא הרבה להסתובב בין היחידות השונות, לדבר עם האנשים ולשאוב רעיונות, וביצע שיחות חתך עם המפקדים. לאחר שהבריטים הפסיקו את מימון הפלמ"ח עם הצלחתם בקרב אל-עלמיין השני, ובעקבות זאת הפך הפלמ"ח ל"צבא עובד", שחבריו עבדו בקיבוצים, הטיל אלון את כל כובד משקלו בשכנוע החברים הממורמרים להמשיך לשרת בפלמ"ח למרות חוסר המעש באותו זמן, לאחר שרבים השתוקקו להתגייס לצבא הבריטי ולהילחם בנאצים. הוא עבר בין אוהלי הפלמ"ח וקרא להם את קריאתו של שדה: "חברים, מי יישא את הרובה העברי?"