האוכלוסייה היהודית שנותרה בארץ ישראל הייתה מרוכזת כעת בעיקר באזור הגליל. במהלך תקופה זו התנאים והאמוראים ליקטו וחידשו מסורות שנחשבו לחלק מהתורה שבעל פה, שעל פי המסורת מכילה את מכלול הפירושים וההלכות שאינם כתובים בתורה שבכתב. כמו כן, בתחילת המאה השלישית לספירה נוצרה המשנה, שנערכה והועלתה על הכתב על ידי רבי יהודה הנשיא, אשר התקבלה כטקסט המרכזי של תורה שבעל פה. בנוסף לכך, כתבים נוספים, בהם הברייתא והתוספתא, נוצרו גם כן במהלך תקופה זו. הכתבים הללו היוו בהמשך את הבסיס ליצירת התלמוד הירושלמי בסביבות שנת 400 לספירה, אשר מפרש את המשנה, מוסיף עליה ומרחיב אותה. המשנה נוצרה ככל הנראה בטבריה, שהייתה מקום התורה הגדול ביותר באותה תקופה.
הרדיפה המתמשכת של היהודים בארץ ישראל והמשבר הכלכלי שפקד את האימפריה הרומית במהלך המאה ה-3 הובילו גם לכך שיהודים רבים היגרו באותה העת מארץ ישראל לאימפריה הפרסית הסאסאנית אשר הייתה יותר סובלנית כלפי יהודים, כאשר הקהילה היהודית שגשגה במיוחד באותה התקופה בבבל. בהמשך התערערה הסובלנות, אולם הקהילה הבבלית נותרה איתנה עוד זמן ממושך.
התקופה הביזנטית (324–638).
בשנת 324, לאחר שנים רבות של אי סדר באימפריה הרומית, השתלט על השלטון הקיסר קונסטנטינוס הגדול אשר הפך לשליט האימפריה הביזנטית. קונסטנטינוס הכריז על הדת הנוצרית כעל הדת הרשמית של האימפריה ובעקבות כך ירושלים הפכה לעיר נוצרית כאשר קונסטנטינוס חידש את אכיפת האיסור על התיישבות יהודים בירושלים כחלק ממאמציו לבסס את ירושלים כעיר נוצרית. רובו של היישוב היהודי שנותר בארץ ישראל ולא ירד לבבל, ישב באותה תקופה באזור גליל, ורק מעטים במישור החוף ובהרי יהודה. על אף שקונסטנטינוס הקפיד יותר מקודמיו על החוקים האנטי-יהודיים שנחקקו קודם לכן על ידי הקיסרים הרומאיים (כגון איסור גיור, איסור התיישבות יהודית בירושלים ועוד), היהודים זכו בשנים אלו לרווחה יחסית ולמדיניות מתונה. אך בתוך זמן קצר הפכו הנוצרים לרוב מכריע בארץ, והיישוב היהודי איבד מכוחו הפוליטי והחברתי, והוטלו עליו גזירות נוספות.
בשנת 351 פרץ בציפורי מרד גאלוס כנגד הקיסר קונסטנטיוס השני. המורדים היהודים ניצלו את שעת הכושר עת הייתה מתיחות רבה בין הרומאים לפרסים במזרח. המרד דוכא עד מהרה על ידי כוחותיו של הגנרל אורסיקינוס.
על פי המסורת היהודית בשנת 359 נשיא הסנהדרין הלל השני קבע את כללי לוח השנה העברי כאשר הוא תיקן את מעבר הלוח העברי לקביעות על פי חישוב, במקום על פי ראיית הלבנה, כפי שהיה מקובל עד אז.
בתקופת שלטונו הקצרה, כחלק ממאבקו בנצרות, ביקש הקיסר יוליאנוס לסייע ליהודים שחיו בארץ ישראל על ידי הגברת הנוכחות היהודית לעומת זו הנוצרית. בשנת 362 נפגש יוליאנוס עם ראשי היהודים באנטיוכיה והבטיח להם כי ידאג להחזיר להם את השליטה על ירושלים ויסייע להם להקים מחדש את בית המקדש. פעולה זו של ניסיון הבנייה מחדש של בית המקדש, לא יצאה בסופו של דבר לפועל - תחילה בגלל רעידת האדמה הגדולה של שנת 363 שהרסה את מה שכבר הספיקו לבנות, ולאחר מכן בשל מותו של יוליאנוס.
בשנת 438, הסירה הקיסרית ליקיניה אודוקסיה את האיסור על היהודים להתפלל בהר הבית ובעקבות כך ראשי הקהילה היהודית בגליל הפיצו הודעה לעם היהודי כי סוף הגלות הגיעה.
בסביבות שנת 450 הושלמה יצירת התלמוד הירושלמי.
בשנת 613 פלשו הפרסים לארץ ישראל. היהודים בארץ ישראל, אשר היו נתונים לרדיפות מצד הביזנטים, חברו לפרסים במרד נגד הקיסר הרקליוס. השליטה בירושלים (איליה קפיטולינה) נפלה לידי הכוחות היהודים-פרסיים בהנהגת בנימין מטבריה והגנרל הפרסי שאהאברז, לאחר קרב ומצור בן עשרים יום (ראו כיבוש ירושלים בידי הפרסים). במהלך כיבושה של העיר נשרפו כל המנזרים והכנסיות בירושלים, וכמו כן עשרות אלפי נוצרים נטבחו. תחת הרשאה פרסית, היהודים שלטו בירושלים במשך חמש השנים הבאות ובחלק גדול מיהודה והגליל. באותה העת ישבו ברחבי ארץ ישראל כ-150,000 יהודים, פזורים ב-43 יישובים.
לבסוף, בשנת 625 הצבא הביזנטי כבש מחדש את ארץ ישראל. למרות הבטחתו שלא לפגוע ביהודים על התחברותם לפרסים, נכנע הרקליוס ללחץ, והנוצרים ערכו ביהודים טבח, שדילדל מאוד את אוכלוסיית היהודים בארץ. מאז ועד תחילת המאה ה-20 (1,400 שנה בקירוב) היישוב היהודי לא היווה גורם מדיני מרכזי בארץ ישראל.
המלחמה הארוכה הותירה גם את הפרסים וגם את הביזנטים חלשים ופגיעים, ובשנת 638 ניצלו זאת הערבים, והשתלטו תוך זמן קצר על אזורים נרחבים, כולל ארץ ישראל.
תקופת ימי הביניים (636–1517).
תחת שלטון האסלאם (638–1099).
המלחמה הארוכה הותירה גם את הפרסים וגם את הביזנטים חלשים ופגיעים, ובשנת 638 ניצלו זאת הערבים. על פי התפיסה ההיסטורית המסורתית, הח'ליף עומר בן אל-ח'טאב, שעמד בראש האימפריה המוסלמית-ערבית, כבש באותה השנה את אזור ארץ ישראל בנוסף למסופוטמיה, סוריה ומצרים, ותוך זמן קצר התחלפה החברה בישראל מכזו עם אופי נוצרי מובהק לכזו עם אופי מוסלמי מובהק. תפיסה מסורתית זו ספגה ביקורות רבות במחקר, וממצאים רבים מערערים על תפיסה זו. גישה עדכנית שעלתה מתוך הממצאים, מציעה שמה שקרה בפועל היה תהליך איטי, ארוך ומורכב, שהתרחש בקצב ובעוצמה שונה בכל אחד מאזורי הארץ. ארץ ישראל נשלטה בתחילה על ידי ח'ליפי ראשידון מאל-מדינה, ולאחר מכן על ידי ח'ליפות בית אומיה מדמשק, ולבסוף על ידי הח'ליפות העבאסית מבגדאד.
האוכלוסייה טרם הגעת האסלאם לישראל כללה 3 דתות מרכזיות - יהדות, נצרות והדת השומרונית. לפי אחת ההערכות, האוכלוסייה היהודית בארץ ישראל באותה העת מנתה בין 300 אלף ל־400 אלף אנשים.
על פי ניתוחו של גדעון אבני, תהליך האסלום של החברה היה איטי, ובמשך מאות שנים שמרו האוכלוסיות המקומיות על זהותן הדתית, זאת עד למאה ה-11, בה ממצאים מצביעים על שינויים חדים באופי היישובים בישראל, לצד ירידה דרמטית בהיקף ההתיישבות בכל רחבי הארץ.
במאות השנים הללו, בהדרגה האוכלוסייה המוסלמית הפכה לרוב בארץ ישראל, כאשר התרבות הערבית, השפה הערבית, ודת האסלאם הפכו דומיננטיים. עם זאת, עד למאה ה-11 בארץ ישראל עדיין היה אחד ממרכזי הסמכות החשובים ליהודים, ישיבת גאון יעקב. מהמאה ה-6 ראשי ההנהגה הדתית בישראל ובבבל כונו גאונים. במאות השנים הללו היו מאבקי סמכות וכוח בין מוקדי הכוח היהודיים המרכזיים בבבל לבין ישיבת גאון יעקב.
כמו בני מיעוטים אחרים באימפריה המוסלמית, גם היהודים היו חייבים מיסים מיוחדים שלא היו תקפים למוסלמים, והיו כפופים לאפליות שונות בחוק, כמו איסור על הקמת בתי כנסת חדשים. לרוב לא היה מקובל לכפות התאסלמות על התושבים הלא-מוסלמים, בין היתר כדי לא לפגוע ברווחיות מיסים אלו. מבין המיעוטים הדתיים, נהנו היהודים והנוצרים ממעמד מיוחד בתור "אנשי הספר", והם נהנו מחסות של השליטים ומזכות לחייהם, רכושם וזכויות נוספות לקביעת דרך חייהם. בנוסף, במקרים רבים לא אכפו השליטים בפועל חלק מההגבלות על היהודים מתוך שיקולים שונים, כלכליים או פוליטיים. מציאות זו אפשרה, למרות ההגבלות והאפליה, גם תקופות של שגשוג תרבותי וכלכלי בקרב היהודים.
הח'ליף עומר בן אל-ח'טאב עודד יהודים להתיישב בירושלים. זו הייתה הפעם הראשונה, אחרי כמעט 500 שנה של שלטון נוצרי, שהיהודים הורשו להיכנס ולעבוד בחופשיות בעיר הקודש. שבעים משפחות יהודיות מטבריה עברו בעקבות כך לירושלים על מנת לחזק את הקהילה היהודית בעיר. אף על פי כן, עם בניית כיפת הסלע בשנת 691 ומסגד אל-אקצא בשנת 705 השליטים המוסלמים הפכו את הר הבית לאתר קדוש למוסלמים. הכיפה נבנתה מעל לאבן השתייה, המקום הקדוש ביותר בהר הבית ליהודים אשר נמצאה בקודש הקודשים בבית המקדש. לפני מותו של עומר עבד אל-עזיז בשנת 720 הוא אסר על היהודים להתפלל בהר הבית, מדיניות שנותרה על קנה במשך אלף השנים הבאות של השלטון האסלאמי באזור.
ברעידת האדמה של שנת 749 (רעש שביעית) נחרבו בין היתר שלושים בתי כנסת בטבריה לבדה.
בסוף המאה ה-8 ובמאה ה-9, תחת שלטון בית עבאס, הוחמר היחס אל חלק מהמיעוטים ובהם גם ההיהודים. בתקופה זו הוחמרו ההגבלות לאיסור בניית מבני דת, נקבעו ליהודים חוקים משפילים כמו ענידת סמל בצורת עגל הזהב במרחצאות או הצבת פסלי שדים בפתח הבית. היחס הוחמר פעם נוספת גם במאה ה-11.
בעלי המסורה שהופיעו בטבריה במאה ה-10 לספירה, עמלו לקבוע מערכת אחידה של נוסח המסורה, שישמר את הנוסח שהיה קיים בזמנם (על שיבושיו) ותסייע בהעתקה מדויקת שלו. כך הם פיתחו את סימני הניקוד, את סימני טעמי המקרא, ואת חיבורי המסורה (מסורה גדולה ומסורה קטנה) הנותנים מערך שלם של סימנים לזכירת מופעים חריגים של מילה בטקסט, ועוד.
בשנת 1073 כבשו הסלג'וקים את ארץ ישראל למשך קרוב ל-30 שנה. לאחר הכיבוש נאלצה ישיבת גאון יעקב למלט עצמה מירושלים לצור, ובהמשך למצרים, ובכך תמה ההנהגה היהודית-ישראלית עד לתקופה הטרום-מודרנית.
התקופה הצלבנית (1099–1291).
הצלבנים הגיעו לארץ ישראל מאירופה במטרה לשחרר את ארץ הקודש, כאשר הם רצחו מוסלמים ויהודים רבים ומכרו חלק מהם לעבדות. לטענת החוקר מרטין גילברט בין השנים 1099 ל-1291 הצלבנים בארץ ישראל "רדפו ושחטו את יהודי ארץ ישראל ללא רחמים".
בשנת 1099 היהודים הצטרפו ליתר אוכלוסיית ירושלים בניסיון להגן לשווא על ירושלים מפני הפלישה הצלבנית. כאשר נפלה העיר, הצלבנים רצחו בסביבות 6,000 יהודים כאשר בית הכנסת בו הם שהו הוצת.