בשנת 1904, בעקבות גל פוגרומים במזרח אירופה, החל גל עלייה יהודית לארץ ישראל, שנודע בשם "העלייה השנייה". בתודעתם של הבאים לארץ ישראל בשנות התקופה השתלבו יסודות של עלייה ושל הגירה: מסורת ואמונה, לאומיות יהודית וציונות, פליטות ונרדפוּת בארצות מוצאם ותוכניות פרנסה, במקביל וכחלק מגל הגירה הגדול של יהודים ממזרח אירופה, אל ארצות "העולם החדש", במיוחד ארצות הברית, חלק מהבאים לארץ היו צעירים יהודים שהגיעו לארץ חסרי הון, במטרה להתפרנס להקים יישובים בארץ ישראל, ובכוונה להתפרנס מיגיע כפיהם. חלק ניכר מהם השתייכו בארצות מוצאם לתנועות פועלים סוציאליסטיות ומהפכניות ברוסיה ובמזרח אירופה. רבים מהם פנו לתנועה הציונית לאחר שנואשו מסיכויי הצלחת מהפכה ברוסיה; חלק נאלצו לברוח ממזרח אירופה לאחר השתתפותם בהגנה החמושה על קהילות היהודים בפוגרומים; ואילו אחרים השתייכו מלכתחילה לתנועות פועלים ציוניות, שהגדולה מביניהן הייתה מפלגת "פועלי ציון". המפלגה נוסדה במזרח אירופה בהשראת חזונו של מיכאל הלפרין ובהנהגתו של דב בר בורוכוב. חזונהּ של מפלגת "פועלי ציון" התבסס על ההנחות שתקומת העם היהודי צריכה לבוא בידי שכבה רחבה של פועלים, שאת מדינת העם היהודי ניתן להקים רק בארץ ישראל, ושניתן להקים בה חברה סוציאליסטית אוטופית שתכלול מוסדות שיתופיים, שוויון, עבודת כפיים ועבודת אדמה בד בבד עם השכלה רחבה הפתוחה לכל. פעילי המפלגה שעלו לארץ המשיכו לפעול במסגרת מוסדותיה, שכללו את הוצאת עיתון "האחדות", פגישות שנתיות ומאבקים שונים.
גל העלייה השנייה הביא עימו עשרות אלפי עולים ודרישה גוברת ל"כיבוש העבודה". הסוציאליסטים אנשי "העלייה השנייה" גרסו כי אל למשק היישובי להיות תלוי בפועל הערבי או לנצלו. עבודה עברית הייתה יסוד באתוס הציוני-הסוציאליסטי. הם האמינו שיש צורך בהעברת השמירה על היישובים היהודים מידי הערבים לידיים יהודיות. ב-29 בספטמבר 1907 נפגשה קבוצת פעילים ממפלגת "פועלי ציון" והחליטה על הקמתו של ארגון חשאי בשם "בר גיורא" שמטרתו כיבוש העבודה בשמירה על ההתיישבות היהודית. הקבוצה זכתה לחוזי שמירה בסג'רה ובמסחה. לאחר כשנה וחצי של פעילות, לנוכח גילויי לוחמנות ערבית שגברו אחרי מרד "הטורקים הצעירים" ביולי 1908, התרחב הצורך בשומרים יהודים. חברי "בר גיורא" החליטו להעביר את הפעילות למסגרת רחבה יותר.
הקמת "השומר" ושנים ראשונות.
בעקבות הצלחת השמירה בסג'רה ובמסחה גדל הביקוש לשומרים יהודים, וחברי "בר גיורא" החליטו למקד את מאמציהם בכיבוש השמירה במושבות. משום כך הוחלט להקים הסתדרות שומרים, ארגון חוקי (להבדיל מארגון "בר גיורא", שהיה מחתרת), בשם: "השומר".
אספת היסוד של הארגון התקיימה בכפר תבור בכ"א בניסן שביעי של פסח תרס"ט, 12 באפריל 1909. אספה זאת נערכה כשבוע לאחר הכינוס השנתי של מפלגת "פועלי ציון", שהתקיים בסג'רה בערב פסח, בצִלם של אירועי דמים: בתחילת חודש ניסן נהרג ברלה שויגר בהתקפה של ערבים; בערב פסח הותקף הצלם משה פחטר, שהיה בדרכו לכינוס המפלגה; הוא נפצע ומצלמתו נשדדה, אך הוא ירה והרג את אחד התוקפים; וב-12 באפריל 1909, במקביל לכנס היסוד של "השומר", נרצח שומר חוות סג'רה , ובמרדף אחר הרוצחים נהרג , מאיכרי המושבה סג'רה.
באספת היסוד נאמו ישראל שוחט ויצחק בן-צבי. נקבעה תוכנית, פרוגרמה, שהגדירה את מטרת הארגון:
הפרוגרמה קבעה גם את אופן ההתנהלות של הארגון ואת אופן הקבלה של חברים חדשים, וקבעה שבראש הארגון יעמוד ועד בן שלושה חברים. חברי הוועד שנבחרו היו ישראל שוחט, ישראל גלעדי ומנדל פורטוגלי.
בתוך ארבע שנים חתם "השומר" על חוזים לשמירת מסחה (כפר תבור), חדרה, ראשון לציון ורחובות. תחילה שמרו חברי "השומר", שמנו לא יותר מ-100 איש (הם העסיקו גם כ-300 שכירים יהודים) רק על גבולות השטח הבנוי של המושבות, אך עד מהרה החלו לשמור גם על האיכרים העובדים בשדותיהם וכך, באורח בלתי-נמנע, התעמתו עם מסיגי גבול ערבים. מכוח התפתחות זו ניצב "השומר" בחזית המאבק הציוני: כוח מזוין גונן מעתה על רכישת אדמות ועל עיבודן. חברי "השומר" למדו את שפת הערבים ואת אורחות חייהם כדי לשפר את תפקודם. לא אחת הם התלבשו כערבים וחיקו בהערצה את תעוזתם הלוחמנית של הבדואים ואת תכסיסיהם. הם עמדו בתוקף על הכבוד היהודי, אך באותה שעה טענו כי הם משתדלים להימנע מהתגרויות ומהריגת ערבים. אף-על-פי-כן, ראשי המושבות התרשמו לא אחת כי התנהגותם נושאת אופי תוקפני ופרובוקטיבי.
בשנים 1909–1910 עברה השמירה במושבות הגליל התחתון לידי "השומר". בחורף 1909 אחד השומרים הצ'רקסים של המושבה בית גן ירה למוות באיכר יצחק בלום, לאחר מריבה ביניהם. בעקבות כך עברה השמירה בבית גן לידי "השומר". החל ב-1910 העסיק "המשרד הארץ-ישראלי" שביפו את "השומר" בשמירת שטחים שאך זה נרכשו, ובעיבודם עד התנחלות מתיישבי הקבע: קבוצות "השומר" הללו נקראו "חבורות כיבוש". באביב 1910 נחתם חוזה גם עם המושבה הסמוכה יבנאל, ומאיר חזנוביץ מוּנה לעמוד בראש השמירה בשתי המושבות. בחוות כנרת היה ריכוז השמירה נתון בידי מנהל החווה משה ברמן, אך השומרים היו מפועלי החווה וחברי "השומר". שמירת השדות ניתנה בידי יחזקאל חנקין, שהיה לשומר הרכוב הראשון של אגודת "השומר". במושבות מנחמיה וזכרון יעקב הוזמנו שומרים מהארגון להשתתף בשמירה מעורבת עם פועלים ערבים, ואולם התנגשויות בין השומרים היהודים והערבים הובילו לכך שחברי "השומר" עזבו את המושבות, והשמירה בהם נותרה ערבית. בסוף שנת 1909 הוקם על ידי חברי "השומר" "לגיון העבודה", שבמסגרתו נשלחו קבוצות פועלים לסג'רה ולחדרה ובעיקר לאדמות תל-פול (או: תל אל-פול) סמוך לכפר הערבי (כיום מרכז עפולה) ולתחנת הרכבת הגדולה שלידו.
האספה הכללית השנייה של "השומר" נערכה ב-19 בדצמבר 1909 (ז' בטבת תר"ע) בדירתם של ישראל שוחט ואשתו מניה בחיפה. במהלך האספה הוקם 'לגיון העבודה' על פי הצעתו של יהושע חנקין לכיבוש אדמות אל-פולה בעמק יזרעאל, והזמנתם של אנשי חדרה להעביר לידי "השומר" את השמירה במושבתם. בנוסף הוחלט להסיר את השמירה מעל המושבה סג'רה לתקופה של שנה, בעקבות סולחה בין המושבה לבין שבט א-צביח הסמוך, שנכרתה ללא שיתוף אגודת "השומר". לדברי אתר ארגון ההגנה, שבט זה היה עוין ביותר, ואנשיו השתתפו ברצח יהודים במאורעות תרצ"ו-תרצ"ט שהחלו ב-1936.
בשנת 1914 שוב נתגלעו מחלוקות קשות בחוות סג'רה, בין אנשי "השומר" לבין ניסן קנטורוביץ, המנהל הממונה אשר ביקש לצמצם את היקף העבודה העברית במושבה. בעקבות כך פרצה שביתה במושבה ו"השומר" הפסיק את השמירה. קבוצה של צעירי "השומר" שלחה מכתב אל קנטורוביץ ובו אולטימטום להפסיק את העסקת הפועלים הערבים או להתפטר תוך 25 יום, ולא – יומת. מכתב זה עורר סערה גדולה ביישוב. ישראל גלעדי מציין שבעקבות כך עמד "השומר" בפעם הראשונה בפני פילוג פנימי חמור.
התיישבות ונפגעים – שנות השיא של הארגון.
בשנת 1908 הצליח גואל הקרקעות יהושע חנקין לבצע רכישה גדולה בעמק יזרעאל, אך ישובה למעשה, נתקל בקשיים. באותה תקופה החל לפעול בעמק קו מסילת רכבת, והטורקים הוציאו חוק מיוחד האוסר על נתינים זרים להתיישב בצִדי המסילה. בנוסף, מושל נצרת, שוכרי אל-עסלי, היה לאומן ערבי אשר התנגד להתיישבות יהודית. בשלהי 1909, פנה חנקין לארגון "השומר" לעזור בכיבוש הקרקע, וקבוצת כיבוש של אנשי "השומר", הקימה בה את המושבה מרחביה. ההקמה לוותה בהתנגשויות רבות עם בני כפר סולם (שונם) הסמוך. אולם לאחר פרק הזמן הראשון, התהוו יחסי ידידות ואנשי "השומר" הוזמנו לבקר בכפר, ואף לחתונתו של "בן השיך מחמוד ... שנערכה בפאר גדול. מתל-עדש וממרחביה, היישובים היהודיים היחידים בעמק בימים ההם, באנו כשמונה רוכבים. הכפר קיבל אותנו יפה לפי נימוסי הערבים. הבענו את רחשי הכבוד שלנו לחתן על ידי אמנות-הרכיבה על סוסות אצילות, שלא היו רבות כמוהן גם בין סוסות הבדואים, ועל ידי יריות מרובות מנשק משובח. רושם גדול היו עושים ה"מאוזרים" האבטומטיים (האקדחים האוטומטים) שלנו. ... לאחר ה"פנטזיה", בכניסה לכפר לכבוד החתן אמין, שהכרנוהו מקודם, שתינו קפה ורוב הרוכבים יצאו להפליג ב"מֵידַן". מידן ערבי הנהו למעשה, תמרוני-מלחמה קיבוציים".
ב-2 ביוני 1910, בשדות סג'רה נורה איש "השומר" אברהם יוסף ברל, ככל הנראה מפליטת כדור. בפברואר 1911 נרצח יחזקאל ניסנוב בעת שהיה בדרכו, יחד עם צבי נדב בעגלה ליבנאל.
באייר תרע"א (1911) הותקף מרדכי יגאל שרכב בגבולה הדרומי של המושבה על ידי רוכבים מכנופייתו של סעיד א-זועבה, אשר הצעתו לתת חסות למושבה נדחתה. יגאל הצליח לברוח מפני התוקפים תוך כדי ירי, ובמהלך ההתנגשות נהרג אחד התוקפים ואחר נפצע אנושות. בעקבות כך החלה מתקפה גדולה על המושבה על ידי מאות ערבים שהמטירו אש כבדה על המושבה. עם הגעת המשטרה הטורקית נעצרו 12 אנשי המושבה. שלושה מאנשי "השומר" – מרדכי יגאל, קוראקין ויצחק נדב – הושמו במעצר למשך שנה שלמה.
בשנת 1911 קיבל על עצמו ארגון "השומר" את השמירה בחדרה. חדרה הייתה באותה תקופה אחת המושבות הגדולות בארץ, ומשימת השמירה במושבה חייבה את הארגון להתמקד בשמירה ולזנוח את תוכניותיו ההתיישבותיות. בראש מערך השמירה הועמד מנדל פורטוגלי. בתשרי תרע"ב (1911) נערכה אספת "השומר" השלישית בחדרה. לאספה זאת נשלחה משלחת מרחובות בראשותו של משה סמילנסקי, במטרה לבקש מ"השומר" לקבל על עצמו את השמירה במושבה.