בין השומרונים והיהודים התעוררה מחלוקת בתקופת שלטונה של האימפריה הפרסית בארץ ישראל. כורש מלך פרס ששלט לפי עקרון הסובלנות הדתית אפשר ליהודי בבל (שהוגלו על ידי מלך בבל ב-586 לפני הספירה לאחר חורבן בית המקדש הראשון) לחזור לארץ ישראל ולבנות את בית המקדש השני. האישור שהגולים קיבלו ממלך פרס נקרא הצהרת כורש. הגולים ששבו מבבל בשנת 516 לפני הספירה, מצאו במקום את השומרונים. על פי המסורת היהודית, השומרונים רצו להצטרף לבניית בית המקדש השני בירושלים, אך הגולים סירבו. השבים דחו אותם בטענה שרק להם ניתן האישור לבניית הבית. השומרונים עצמם טוענים שמעולם לא רצו להצטרף לבניית בית המקדש בירושלים, אלא שהם דבקו במקדש שליד שכם מאז ימי יהושע בן נון. השומרונים הערימו קשיים על בניית המקדש. הם ניסו למנוע את הקמת בית המקדש באיומים ובפגיעה במורל של שבי ציון. בנוסף, הלשינו לשלטונות הפרסיים שהיהודים מתכוונים למרוד בשלטון הפרסי.
לפי ספר נחמיה, אדם בשם סנבלט החורני חתר תחת נחמיה וניסה לחבל בחידוש בניין חומות ירושלים. בלשון הכתוב, סנבלט והמתנגדים נקראים יחד בשם הגנאי "צרי יהודה". רמז על מוצאו ותפקידו של סנבלט מופיע בפסוק "וַיֹּאמֶר לִפְנֵי אֶחָיו וְחֵיל שֹׁמְרוֹן". כשנחמיה גילה כי אחד מבניו של יהוידע בן אלישיב הכהן הגדול התחתן עם בתו של סנבלט, הוא גירש אותו מהכהונה. באחד ממכתבי יב, סנבלט מוזכר כמנהיג השומרונים ופחה של פחוות שומרון מטעם האימפריה הפרסית. באחת האיגרות, יהודי האי יב מבקשים מבניו של סנבלט לעזור להם לבנות מחדש את המקדש לאלוהי ישראל.
על-פי חפירות ארכאולוגיות שנערכו בהר גריזים, מקדש שומרוני נבנה במקום ככל הנראה במהלך המחצית הראשונה של המאה ה-5 לפנה"ס.
התקופה ההלניסטית.
אחרי כיבוש ארץ ישראל על ידי אלכסנדר מוקדון מרדו בו השומרונים. בעקבות המרד הצבא היווני החריב את העיר שומרון והאזור היה למושבה צבאית מקדונית. כך עבר מרכז השומרונים לעיר שכם. לפי מגילת תענית, השומרונים ביקשו מאלכסנדר מוקדון להרוס את ירושלים, מזימה שסיכל שמעון הצדיק.
יוסף בן מתתיהו מסכם את אופי היחסים בין היהודים לשומרונים בתקופת בית שני: "והשומרונים, אשר המטרופולין שלהם באותו זמן הייתה שכם החונה ליד הר גריזים והמיושבת אנשים שפרשו מעם היהודים, בראותם שאלכסנדרוס חלק ליהודים כבוד ויקר עד כדי כך, החליטו להכריז (על עצמם) כי יהודים הם. שכן מטבע השומרונים הוא... כשהיהודים נתונים בצרה, הרי השומרונים מכחישים שהם קרוביהם ומודים אותה שעה על האמת; אולם כשהם רואים, שהמזל מאיר להם (ליהודים) פנים קצת, הריהם ממהרים להתחבר אליהם ואומרים שהם קרובים להם ומתייחשים על אפרים ומנשה".
לפי ספר מקבים ב, פרק ד', כאשר חזר אנטיוכוס אפיפנס ממסעו הלא מוצלח לכיבוש מצרים ודיכא את מרד יאסון שפרץ בירושלים, הוא מינה את אנדרוניקוס על הר גריזים. על פי פרופ' מור מעשה זה מעיד על כך שגם השומרונים מרדו באנטיוכוס. את אנדרוניקוס החליף אפולוניוס כמושל השומרון.
לטענת יוסף בן מתתיהו, גזירות אנטיוכוס הביאו את השומרונים להתכחש לקשר הדתי אל היהודים: "כיוון שראו השומרונים את היהודים נתונים בצרה, שוב לא הודו שהם קרוביהם ושהמקדש על הגריזים הוא מקדש לאל עליון, - והיה מעשה זה לפי טבעם... אלא אמרו, שהם מתיישבים (שבאו) מן המדים והפרסים". לדבריו, שלחו השומרונים מכתב אל אנטיוכוס, בו טענו כי הם "צידונים מימים קדמונים" ושהם שונים מהיהודים בגזעם ובמנהגם, ואף ביקשו שמקדשם יכונה "מקדש זאוס ההלני".
בשנת 111 או 108 לפני הספירה נחרב המקדש השומרוני על הר גריזים ונכבשה שכם, מרכזם של השומרונים, בידי השליט החשמונאי יוחנן הורקנוס. יוסף בן מתתיהו מספר כי באותה התקופה, אנטיוכוס יצא למלחמה על המדיים ובין ערי סוריה כבש את שכם ואת הר-גריזים ו"הכניע את עם הכותים, אשר ישב סביב לבית-מקדש כתבנית המקדש בירושלים".
התקופה הרומית.
בזמן השלטון הרומאי היה השומרון חלק מפרובינקיית יהודה.
על פי יוסף בן מתתיהו, משיח שקר כינס את השומרונים על הר גריזים, סביב שנת 35, ופונטיוס פילטוס, שחשש ממרד, טבח בהם למרות אי-הערכותם.
יוסף בן מתתיהו מספר על התנגשויות שאירעו בין השומרונים ליהודי הגליל בתקופת הנציב קומאנוס. לאחר שעולה רגל יהודי מהגליל שהיה בדרכו לירושלים בזמן חג סוכות בשנת 51 לספירה, נרצח בכפר "גמה" (כיום העיר ג'נין) בשומרון, התאספו המונים מיהודי הגליל וירושלים כדי להתנפל על השומרונים כנקמה, ובנוסף להם גם חבורתו של אלעזר בן דינאי, שהתנפלה על שכניהם השומרונים במחוז עקרבת, טופרכיה דרומית-מזרחית לשכם (בחורף שנת 51–52). קומאנוס יצא מקיסריה לעזרת השומרונים עם גדוד פרשים והרג רבים מאנשי החבורה של אלעזר ורבים אחרים לקח בשבי. בחג פסח שנת 52, הגיע הנציב הרומי בסוריה, אומידיוס קוודרטוס, לקיסריה, וציווה לצלוב את כל האנשים שקומאנוס תפס.
טבח נוסף ערכו הרומאים בשומרונים בזמן המרד הגדול בשנת 67 לערך, כאשר נאספו שנית בהר גריזים מתוך מחשבה שהמקום הקדוש יגן עליהם.
השומרונים לא השתתפו במרד הגדול ובמרד בר כוכבא, ובעקבות דילול האוכלוסייה היהודית כתוצאה מן המרידות, האוכלוסייה השומרונית התפשטה מחוץ לחבל השומרון והפכה למרכיב העיקרי בפרובינקיה. על פי הערכה של השומרונים עצמם, מספרם במאה ה-4 - מאה ה-5 היה כמיליון ומאתיים אלף נפש.
האימפריה הביזנטית.
בבא רבה היה מנהיג בולט של עדת השומרונים במאה ה-4. הוא פעל כנגד הלחץ הרומאי על העדה השומרונית והאיסור על המילה שהוטל על השומרונים. כצעד ראשון הוא פתח בתי כנסת שהיו נעולים, בנה שמונה בתי כנסת חדשים ברחבי השומרון ויזם בניית מקוואות טהרה. בנוסף, הוא ארגן גם את כל העם השומרוני בארץ ישראל. הוא חילק את הארץ לאחד-עשר מחוזות שהשליטה בהם הוענקה למשפחות מכובדות. כן מינה מועצה לביצוע פעולות חינוך ולניהול בתי הכנסת, ושבעה שופטים בכפרי השומרון. הוא חי ב"תקופה השמינית" לכרונולוגיה השומרונית. בהמשך, בבא רבה הוזמן לקונסטנטינופול, שם נאסר, מת ונקבר.
לאחר מותו של בבא רבה פרצו ארבע מרידות של השומרונים: בשנת 484 השומרונים ביקש לנצל את המרד של אילוס (484–488) שבסיסו היה באנטיוכיה כדי לערער את השלטון הביזנטי בארץ ישראל, אך המושל (Dux) של ארץ ישראל הצליח לדכא את המרד והוציא את מנהיגו, יוסטאטס, להורג. המורדים נענשו ואף הוצב חיל מצב ביזנטי בהר גריזים, הקדוש לשומרונים.
המרד השני והיותר משמעותי של השומרונים נגד השלטון הביזנטי פרץ בראשית שלטונו של הקיסר יוסטיניאנוס הראשון בשנת 529. הרקע למרידה הגדולה הזאת היה המתח בין הנוצרים לשומרונים בארץ ישראל וגזירות הדת הקשות שנכפו על האוכלוסייה השומרונית על ידי השלטון הביזנטי. עם זאת, הסיבות המיידיות שגרמו לפרוץ המרד אינן ידועות. בראש המרד עמד שומרוני בשם יוליאנוס בן צבר (הידוע גם כיוליאנוס סברוס).
מיעוט המקורות לא מציג תמונה ברורה של מהלך המרד, אך נראה שהמוקד היה באזור שכם בשומרון. אש המרד אחזה עד מהרה כמעט בכל ארץ ישראל והמורדים ניצחו את היחידות הביזנטיות המעטות ששמרו על הסדר בפנים הארץ. המורדים בזזו כנסיות ורצחו נוצרים רבים ואף החריבו כפרים נוצריים שלמים. למרות ההצלחה הראשונית, התעשת השלטון הביזנטי וכוחות צבא רבים בראשותו של מושל הפרובינקיה פלשתינה טרטיה, תאודורוס סימוס, הביסו את המורדים בקרב מכריע. מעשי הנקם של השלטון הביזנטי היו קשים, וכמה עשרות אלפי שומרונים נהרגו.
לאחר מכן היו עוד שתי מרידות שומרוניות – בשנת 555 (556) ובשנת 572. מרידות אלה גרמו לתגובות קשות של השלטון הביזנטי, והדת השומרונית אף הוצאה מחוץ לחוק. אוכלוסייתם התדלדלה עד מאוד, וההערכה היא כי נהרגו למעלה ממיליון שומרונים במרידות האלה.
הכיבוש הערבי.
ניצחון המוסלמים בקרב הירמוך בשנת 636 הוביל לבריחתם של שומרונים רבים, בעיקר מקרב הקהילה השומרונית במישור החוף. מקורות מהתקופה האומיית מעידים על קהילה שומרונית ענפה שחייתה בשומרון במאות השביעית והשמינית, אולם תחת שלטון בית עבאס התערערו היחסים עם השלטונות המוסלמיים, ובתי כנסת יהודיים ושומרוניים רבים חרבו. במאה העשירית השתפרו היחסים בין המוסלמים, היהודים והשומרונים. במאה הארבע-עשרה שלטו בארץ הממלוכים, שפגעו באתרים המקודשים לשומרונים והפכו אותם למסגדים. בשל העובדה כי מוחמד לא שמע על השומרונים או הכיר את דתם, חשבו הכובשים הערבים והמוסלמים כי השומרונים הם "פגאנים" ולכן יש לנהוג בהם כמו שמורה הקוראן ביחס לכופרים ולהשמידם אם לא יתאסלמו, בשל כך שומרונים רבים נאלצו להתאסלם כדי להישאר בחיים.
באפולוניה הייתה קהילה שומרונית גדולה. ב-809, בעקבות מותו של הח'ליף הארון א-רשיד, נערכו פרעות בקהילה השומרונית המקומית ונהרס בית הכנסת שלה.
האימפריה העות'מאנית.
בסוף התקופה הממלוכית התמעטו השומרונים עד היותם לעדה קטנה – כחמש מאות איש. כעבור 150 שנות השלטון העות'מאני נשארה רק הקהילה השומרונית בשכם.
בשנת 1625–1626 משפחות השומרונים שנותרו עברו לגור בשכם. הקהילה בשכם קלטה גם את השומרונים מדמשק, שנרדפו שם. מושלי דמשק ערכו טבח כללי באלפי שומרונים ורבים מאלה שנותרו בחיים המירו את דתם. מתועד פוגרום שנערך בימי הפאשא מרדם בק ב-1625, בו הותקף הרובע השומרוני בדמשק, נהרגו רבים ורבים עוד יותר התאסלמו, השומרונים נעלמו מעין הציבור אולם מספר משפחות שכונו "מושם" ושמוצאם שומרוני נשארו בולטות בעשייה בעיר. שכם שימשה מקלט בטוח לשומרונים. ידוע על סופרים, פייטנים, תאולוגים ורופאים שומרונים שחיו בשנים האלה בעיר. עם זאת, נוסע קראי מספר כי בשנת 1640 הוא מצא בשכם שתים-עשרה משפחות יהודיות ורק עשר משפחות שומרוניות.