מלכי פרס נטו חסד ליהודים, אישרו לבנות את בית המקדש ואף כיסו את הוצאותיו מקופת הממלכה, אך כדי לא לחזק סיכוי למרד הרחיקו את בית דוד מהשלטון בארץ יהודה. היישוב היהודי חולק לפלכים עם ערי בירה וערי משנה. שטח יהודה עמד על כ-1,600 קמ"ר בלבד ומנה כ-40,000 אלף נפש לערך.
עם שאר תושבי הארץ נמנו שבטים ערבים (בני קדר), אדומים, פלשתים והשומרונים – גולים שהובאו לארץ ישראל על ידי אשור לאחר חורבן ממלכת ישראל. רוב תקופת השלטון עברה בשקט יחסי, במיוחד לאור האוטונומיה שפרס הרשתה בתחום הדתי. לקראת סוף התקופה התחזקה השפעת התרבות ההלניסטית.
התקופה ההלניסטית (332 - 141 לפנה"ס).
התקופה ההלניסטית בארץ החלה בכיבוש הארץ בידי אלכסנדר מוקדון בשנת 332 לפנה"ס, ונמשכה עד לפרוץ מרד החשמונאים בשנת 167 לפנה"ס. נהוג לכלול בתקופה זו גם את התקופה החשמונאית (160-63 לפנה"ס), בה הייתה ההשפעה ההלניסטית על הארץ ועל שליטיה מורגשת לא פחות מן התקופה בה היו שליטיה זרים.
התקופה ההלניסטית התחילה עם סיום הכיבוש הפרסי בארץ ישראל על ידי אלכסנדר מוקדון והמשיכה עם מאבקי הכוח על השליטה בארץ בין יורשיו השונים. החל מבית תלמי ששלט החל מ-301 לפנה"ס על ארץ ישראל ועד להשתלטות בית סלאוקוס על ארץ ישראל ב-200 לפנה"ס. מרד החשמונאים והתפוררות הממלכה הסלאוקית הביא להקמת מדינה יהודית עצמאית במידת מה בתחומי ארץ ישראל, עד לתחילת השלטון הרומאי על ארץ ישראל.
כיבוש ארץ ישראל על ידי אלכסנדר הביא לא רק לחילופי שלטון אלא גם לחילופי תרבויות באזור. התרבות ההלניסטית החלה משתרשת בארץ ישראל. בשלביה המוקדמים הורגשה השפעת התרבות רק באזורים העירוניים ובעיקר בירושלים. דווקא עם יסוד הממלכה החשמונאית החל תהליך מואץ של התיוונות וחדירת מנהגים הלניסטיים לחיי היהודים בארץ ישראל.
התקופה החשמונאית (141 - 63 לפנה"ס).
החשמונאים היוו את המשפחה השלטת ביהודה מעלייתו של מתתיהו הכהן (167 לפנה"ס) ועד מותו של אחרון מלכי בית חשמונאי, אנטיגונוס השני בשנת 37 לפנה"ס. בתקופה זו הייתה יהודה ממלכה עצמאית, שבה שלט שליט חשמונאי, כמלך או ככוהן גדול.
שלטון בית חשמונאי היה תקופה של עצמאות מדינית ועוצמה צבאית, לראשונה מאז מות צדקיהו, אחרון מלכי בית דוד, ואלה לא שבו במשך כאלפיים שנה לאחר נפילת החשמונאים. הייתה זו תקופה של זוהר ופריחה לעם היהודי ולתרבות היהודית. תקופה של רווחה כלכלית, שנבעה מהורדת נטל המסים ששולמו למדינות החוץ ששלטו ביהודה, ומההתרחבות הטריטוריאלית של גבולות הממלכה, כמו גם מההשתלטות על נמלים ועל דרכי המסחר.
לקראת סוף התקופה הגיעה ממלכת החשמונאים לשיא (בימי אלכסנדר ינאי ואשתו שלומציון), ולאחר מותה, בזמן ריב בניה על המלוכה, כבש את הארץ פומפיוס, המצביא מטעם האימפריה הרומית ההולכת ונבנית, כמעט ללא התנגדות.
התקופה הרומית (63 לפנה"ס - 324 לספירה).
התקופה הרומית הקדומה.
בשנת 63 לפנה"ס התחולל מאבק בין שני היורשים החשמונאים, בני אלכסנדר ינאי ושלומציון, הורקנוס השני ואריסטובולוס השני. בתחילה ידו של האח הצעיר - אריסטובלוס - הייתה על העליונה, אך אז התערב אנטיפטרוס האדומי ויעץ להורקנוס לבקש עזרה מהנבטים. אלה אכן סייעו לו, אך המאבק טרם הוכרע כשלאזור הגיע כוח חדש מצפון - פומפיוס הרומי. בפניו נקראו להתייצב שלוש משלחות: הורקנוס, שטען שהוא המלך בדין, מהיותו הבכור; אריסטובלוס, שטען שהוא כשיר יותר מאחיו לנהל את הממלכה; ומשלחת נכבדי העם, שטענה כי אף לא אחד מהאחים ראוי להיות מלך, ויש להשיב לקדמותו את שלטון הכהן הגדול, ולא המלך. פומפיוס החליט למנות את הורקנוס השני לכהן גדול ולזכותו בתואר "אתנרך" ("ראש העם"), תחת חסותו של יוליוס קיסר. בנוסף, חולקה הממלכה על פי "תנאי פומפיוס" לחמישה חלקים. אנטיפטרוס מונה לאפוטרופוס (מה שקודם לתואר "נציב") על ממלכת יהודה, ובתור שכזה הוא התיר מחדש לבנות את חומות ירושלים והשיב לממלכה חלקים שנקרעו ממנה על ידי פומפיוס.
לאחר מותו של אנטיפטרוס התמנה הורדוס בנו למלך יהודה, ותקופת שלטונו נחשבה ליציבה ומשגשגת במיוחד. בתקופה זו עבר היישוב בארץ ישראל התפתחות מסיבית בזכות בנייה הרבה, פיתוח הערים, השקט הצבאי והרווחה הכלכלית ששררה בארץ.
אחרי מותו של הורדוס החלה תקופת הנציבות, בה שלטו נציבים רומאים בארץ. רוב הנציבים בתקופת הנציבים הראשונה (41-6 לספירה) העדיפו שלא להתנגש עם היישוב היהודי ולתת לו לנהל את ענייניו. לאחר תקופת שלטונו של המלך אגריפס הראשון (44-41 לספירה), החלה תקופת הנציבים השנייה (66-44 לספירה), בה התערבו הנציבים הרבה יותר בחיי היישוב היהודי. התסיסה נגד גזירות השלטון הרומאי בתקופה זו ביחד עם הקיטוב והפילוג הפנימי בקרב היישוב היהודי הובילו לפרוץ המרד הגדול בשנת 66 לספירה, ועם דיכויו לחורבן בית המקדש השני ארבע שנים אחר כך (בשנת 70).
התקופה הרומית המאוחרת.
לאחר אירועים אלו שינתה רומא את מדיניותה והעם היהודי לא נחשב עוד לגורם המרכזי בארץ אלא עוד קבוצה אתנית, וכדי לעגן זאת במציאות סופחו גם צור והבשן לארץ יהודה.
בשנת 106 חוסלה גם המסגרת הלאומית של הנבטים. עם מות המלך הנבטי האחרון, רבאל השני, ממלכת הנבטים סופחה לרומא על ידי הקיסר טראיאנוס באותה שנה או זו שאחריה, והפכה לפרובינקיה ערביה, שלא האריכה ימים.
בעקבות חורבן בית המקדש, פסקו הפלגים היהודיים השונים (צדוקים, פרושים ואיסיים) מלהתקיים ככאלה והעם היהודי כולו בארץ ישראל התאחד תחת הנהגתם של רבן יוחנן בן זכאי ורבן גמליאל והסנהדרין ביבנה. תקופת "דור יבנה" (132-70 לספירה) הייתה תקופת שיקום ביישוב היהודי והפיכת הגליל למרכז היהודי העיקרי. תקופה זו נקטעה בברוטאליות על ידי מרד בר כוכבא (135-132 לספירה). לאחר דיכוי המרד על ידי הרומאים התרכזו היהודים בעיקר בגליל, בגולן, בעמק הירדן הדרומי ובדרום הרי יהודה בין עין גדי לגרר, וכן בסביבת לוד, יבנה ואשדוד.
השומרונים הרחיבו את תחום מושבם לכיוון בית שאן, ומשכם לכוון השפלה.
כשנתיים לאחר שוך המרד וביטול גזירות אדריאנוס, נדד המרכז היהודי (הנשיאות והסנהדרין) לעיר אושא בגליל, בפיקוח רומי, ובראש ההנהגה היהודית עמד הנשיא רבן שמעון בן גמליאל, אשר דאג לשפר את היחסים עם השלטון הרומי. יורשו, בנו רבי יהודה הנשיא, או בקיצור "רבי", עמד אחריו בראש הנשיאות והסנהדרין. בתקופתו התמקם המרכז בבית שערים שבעמק יזרעאל ואחר כך בטבריה הגלילית. נשיאותו של ר' יהודה הייתה חסרת תקדים בכל המובנים: שיפור היחסים עם רומא, חיזוק מעמד הנשיאות, הטבה משמעותית בחיי הכלכלה, אבטחת חיים חברתיים תקינים וצמיחת היצירה התרבותית. גולת הכותרת הייתה עריכת המפעל המונומנטלי של המשנה וחתימתו בשישה סדרים.
פטירתו של רבי וירושת בנו (רבן גמליאל דרבי) ונכדו (רבי יהודה נשיאה) עמדו בסימן תקופת האנרכיה שבאימפריה הרומית (294-235 לספירה), או המשבר האימפריאלי בארץ ישראל ויצרה אווירת משבר כלכלי פוליטי וחברתי, שהתבטא גם בשקיעת רמת הלימודים וגם בירידה פיזית של יהודים רבים מהארץ לבבל, שם המצב הכלכלי היה טוב בהרבה. למרות זה, הונחה התשתית באותה תקופה לעריכתו וחתימתו של התלמוד הירושלמי ("הטברייני").
סוף תקופה זו מתבטא בשקיעתה של התרבות ההלניסטית והתחזקותה של הנצרות, עם עלייתו לשלטון של הקיסר קונסטנטינוס בשנת 324, לאחר שהכיר בנצרות כדת לגיטימית כ-11 שנים קודם לכן.
התקופה הביזנטית (324 - 638).
בשנת 324 לספירה, לאחר שנות אנרכיה באימפריה הרומית, עלה לשלטון הקיסר קונסטנטינוס כשליט יחיד של האימפריה הרומית. הוא הכריז על הדת הנוצרית (בצו מילנו בשנת 313) כעל דת מותרת או חוקית (בלטינית Religio Licita) באימפריה, ובנה בירושלים את כנסיית הקבר. כן נבנו עוד עשרות כנסיות ומנזרים והארץ הייתה למוקד עלייה לרגל של צליינים ונזירים. רוב היישוב היהודי שנותר בארץ ישראל ולא ירד לבבל, ישב באותה תקופה באזור הגליל, ורק מעטים במישור החוף ובהרי יהודה. על אף שקונסטנטינוס הקפיד יותר מקודמיו על הגזירות נגד היהודים שנגזרו בעבר על ידי קיסרי רומא (כאיסור הגיור, איסור התיישבות יהודית בירושלים ועוד), היהודים זכו בשנים אלו לשקט יחסי ויחס מתון ונסבל מצד השלטון. אך תוך זמן קצר הפכו הנוצרים לרוב מכריע בארץ, היישוב היהודי איבד מכוחו הפוליטי והחברתי והוטלו עליו גזירות נוספות. בשנת 351 פרץ בציפורי מרד גאלוס אשר דוכא עד מהרה ועל הארץ הוטל שלטון צבאי. יוליאנוס "הכופר" אשר הוכרז כקיסר, התנגד לנצרות, ביקש לחזור להלניות וראה ביהודים בני ברית. בשנת 362 הוא הציע ליהודים להקים מחדש בית מקדש ואף החל בעבודות להקמתו, אך עם מותו בקרב הופסקה הבנייה ונסתם הגולל על היוזמה.
לאחר שנים של רווחה יחסית בשלהי המאה ה-5, שלוותה בריבים פנימיים בין הפלגים הנוצריים, הידרדר מצב היהודים עם עליית הקיסר יוסטיניאנוס הראשון לשלטון בשנת 527 לספירה. הקיסר החל להתערב בחיי הדת של היהודים, הגדיר אותם כ"כופרים", גזר גזירות בעניין חג הפסח ולימוד התורה שבעל פה, ובהשראתו חל המקרה הראשון הידוע של אינוס להמרת דת. ההערכות המקובלות מדברות על כ-150 עד 200 אלף יהודים שחיו בארץ ישראל בתקופה זו, והיוו כ-10% מכלל האוכלוסייה.