הכיבוש הבבלי היה כרוך לא רק בחורבן ירושלים ובית המקדש הראשון, אלא גם בזעזוע המערכת הפוליטית והאידאולוגית הקודמת, שהתבססה על התפיסה לפיה ה', אלוהי עם ישראל, בחר בירושלים כמקום משכנו והשושלת של בית דוד תמשיך להתקיים שם לנצח. נפילת העיר וסיום מלכות בית דוד אילצו את מנהיגי הקהילה הגולה – מלכים, כוהנים, סופרים ונביאים – לנסח מחדש חלק ממושגי הקהילה, האמונה, הפוליטיקה ואת האתוס ההיסטורי של העם המתגבש. בעקבות כך חלק ניכר מהתנ"ך מוקדש לגלות בבל – ספר ישעיהו, ספר יחזקאל, הגרסה הסופית של ספר ירמיהו, המקור הכהני, והגרסה הסופית של תולדות ישראל מספר דברים ועד ספר מלכים. הטראומה של הגלות הובילה לפיתוח תחושה חזקה של זהות כעם נבדל מיתר העמים, וכן שמה דגש מוגבר על מנהגים כגון ברית מילה וקיום שבת, שמסייעים למנוע היטמעות באוכלוסייה הלא יהודית.
תקופת בית שני.
תקופת בית שני היא תקופה היסטורית בתולדות עם ישראל, החופפת בקירוב את תקופת קיומו של בית המקדש השני. היא נמשכה מ-538 לפנה"ס, שנת הכרזת כורש ותחילת שיבת ציון, ועד ל-135 לספירה, דיכויו הסופי של מרד בר כוכבא.
חלק מהתקופה מתוארת במקרא בספרים עזרא, נחמיה, סוף דברי הימים ב', חגי וזכריה. מרכז העם היהודי היה אז בארץ ישראל, אם כי היו מרכזים יהודיים גדולים בבבל, במצרים ובמדינות נוספות לחופי הים התיכון והים האגאי.
שיבת ציון.
בשנת 539 לפנה"ס נכבשה ממלכת בבל בידי ממלכת פרס בראשות המלך כורש.
שנה מאוחר יותר הצהיר כורש, כי כחלק ממדיניות כללית שהתייחסה לכל האימפריה הפרסית, יוכל העם היהודי שהוגלה לבבל לשוב אל ארצו. הצהרה זו ידועה בתור "הכרזת כורש". במסגרת ההצהרה התיר כורש גם ליהודים לחזור לירושלים ולבנות את בית מקדשם.
גולי בבל קיבלו בשמחה את ההכרזה, אך בפועל רק חלק קטן מהם אכן בחר לחזור לארץ ישראל. בתקופה מאוחרת יותר הקימו העולים בירושלים את בית המקדש השני, אך הוא לא דמה בתפארתו לבית המקדש הראשון.
בימי הבית השני פעלו הנביאים חגי, זכריה ומלאכי, שעל-פי נבואותיהם ניתן ללמוד על המחלוקות הרבות שהתגלעו בקרב העולים.
מאוחר יותר עלו בראש העם עזרא הסופר ונחמיה, שבעזרת החסות הפרסית הצליחו לגבש את הקהילה היהודית סביב ירושלים כאוטונומיה שנהנתה מזכויות מסוימות. עזרא חוקק חוקים חדשים, שתכליתם הייתה שמירה מפני נישואי תערובת עם יתר העמים, החדרת התורה וקיום מצוותיה לתודעת העם ביהודה.
על פי התיאור המקראי, ניתן לחלק את מפעל העלייה מבבל לארבעה גלים מרכזיים אשר נמשכו כמה עשרות שנים:
התקופה ההלניסטית וממלכת החשמונאים.
בשנת 332 לפנה"ס נכבשה הארץ בידי אלכסנדר מוקדון. לאחר פירוק האימפריה שלו עברה לשלטון התלמיים – מלכי מצרים, ובשנים 201–198 לפנה"ס (מלחמה סורית חמישית) הצליחו הסלאוקים להשתלט על האזור.
בעקבות הכיבוש הסלאוקי, כיתר תושבי האזור וארץ ישראל, החלו היהודים ובעיקר השכבה השלטת – האצולה הכוהנית, להיות נתונים להשפעת התרבות ההלניסטית. מגמה זו, שכונתה במקורות היהודיים התייוונות בעקבות ההשפעה היוונית הרבה על התרבות ההלניסטית, לא סתרה בתחילתה את דת ישראל וכללה קבלת מנהגים ורעיונות הלניסטיים.
בהדרגה חלה הקצנה בגישתם של המתייוונים. הללו, אף שהיו אמונים על הנהגת העם ונשאו לעיתים קרובות בתפקידים הבכירים בבית המקדש – מוקד החיים הציבוריים, הדתיים והפוליטיים של העם – החלישו את היהדות ומסורת האבות והגבירו את היסודות ההלניסטיים הנוכריים בחיי הציבור; אף ניסו לייסד בירושלים פוליס עם המוסדות ההלניסטיים המקובלים.
הדבר עורר זעם ואיבה בקרב זרמים שונים בעם, והביא למאבק בתוך הציבור היהודי, שהתמקד סביב איוש משרת הכהן הגדול. השלטון הסלאוקי בחר להתערב במאבק והתייצב באופן טבעי לצד המתייוונים ובאופן הקיצוני ביותר.
בשנת 167 לפנה"ס החליט השליט הסלאוקי אנטיוכוס אפיפנס לאסור על קיום מצוות הדת היהודית בארץ ישראל.
ביום כ"ה בכסלו, שנת 167 לפנה"ס, הוצב בבית המקדש פסל של זאוס והוקרבו לו קורבנות. עונש מוות הוטל על כל יהודי שנתפס כשהוא מל את בנו או שומר את השבת. השלטונות הכריחו את היהודים לעבוד לאלילים ולהקריב להם קורבנות ואף לאכול בשר חזיר. איסורים אלו מכונים ביהדות "גזירות אנטיוכוס" ונמשכו כשלוש שנים וחצי. רוב תושבי יהודה סירבו לקבלן והם העדיפו למות, ובלבד שלא לעבוד עבודה זרה ולעבור על חוקי התורה.
בעקבות זאת פרץ מרד החשמונאים. המרד כוון תחילה כנגד המתייוונים והערים ההלניסטיות, שהיו עוינות ליהודים מאז ומתמיד, ובהמשך כנגד כוחות הצבא הסוריים של בית סלאוקוס. יהודה המכבי, מנהיגם הצבאי הראשון של המורדים, הצליח לשחרר את ירושלים ולטהר את בית המקדש, זכה להצלחות צבאיות נוספות, אך נהרג לבסוף בקרב אלעשה מול כוחות סלאוקים עדיפים, שהשתלטו מחדש על האזורים העירוניים והחזיקו בהם מספר שנים.
בשנים שלאחר מכן המשיכו המאבקים בין החשמונאים לסלאוקים, והשליטה על חלק מהאזורים ביהודה החליפה ידיים. את מקומו של יהודה בהנהגת המרד ירשו אחיו, יונתן ושמעון, שהצליחו באמצעים צבאיים ודיפלומטיים, לפני שנהרגו בעצמם, לבסס, להגדיל את האוטונומיה של החשמונאים.
בימיו של שמעון, שנת 141 לפנה"ס, חרבה מצודת החקרא, סמל השלטון הסלאוקי בירושלים, היהודים חדלו להעלות מס לאימפריה, והכריזו על הקמת ממלכת החשמונאים הריבונית. עם זאת, על אף ניצחון השמרנים, לא נעלמה ההתייוונות מארץ ישראל. בדורות הבאים לאחר כינון העצמאות המדינית היהודית בארץ ישראל, בלטו מנהגים יווניים רבים בקרב האליטה השלטונית.
ראשון עמד בראש המדינה שמעון החשמונאי. הוא היה לכהן הגדול ונשא בתואר נשיא, שהוענק לו על ידי עצרת-עם, וכך תואר הכהן הגדול שהיה במשך מאות שנים שייך לבית צדוק עבר לבית חשמונאי. יורשיו של שמעון החלו לשאת בתואר מלך, אולם תואר הכהן הגדול עדיין נותר בקרב אותה משפחה.
פעילותם המדינית העיקרית של המלכים החשמונאים, החל מתקופתו של יוחנן הורקנוס, הייתה כיבוש ו'ייהוד' עוד ועוד שטחים בארץ ישראל. החשמונאים נלחמו וכבשו את הערים ההלניסטיות והשמידו רבות מהן. הם גיירו, לעיתים בכפייה, את תושביה הנוכרים והלא יהודים של ארץ ישראל, בעיקר מקרב העמים הקרובים ליהודים, כגון האדומים.
במהלך שנת 83 לפני הספירה פלש לשטחם של החשמונאים המלך הארמני, טיגרנס, ובמהלך פלישה זו הוגלו יהודים רבים מן הממלכה לארמניה.
התקופה הרומית.
חדירתה של האימפריה הרומית לארץ ישראל החלה בתקופת החשמונאים.
בשנת 63 לפנה"ס שמו הרומאים קץ לשושלת החשמונאים, אם כי הורקנוס השני הורשה להחזיק בתואר נשיא. בתקופה זו, בניגוד לתחילת המרד, התמיכה בו הייתה מועטה; בעיקר בגלל המנהג של החשמונאים להמליך עצמם למלכים ואף לענוד סמלים יווניים ולהחזיק משמר זר, וכן בשל תמיכתם בצדוקים. בשנת 40 לפנה"ס מתתיהו אנטיגונוס השני, אחיינו של יוחנן הורקנוס השני, פלש ליהודה בראש צבא מפרתיה וכבש אותה לעצמו, אך החזיק בה רק שנתיים.
בשנת 37 לפנה"ס שוב נכבשה יהודה על ידי צבא רומאי, ורומא המליכה על יהודה את הורדוס.
המרד הגדול.
בשנת 66 לספירה פרץ המרד הגדול נגד הרומאים שנסתיים בחורבן בית שני בשנת 70 לספירה.
בשנת 73, שלוש שנים לאחר חורבן בית המקדש השני, הגיעו הרומאים להר מצדה והתחילו להקים סוללה סביב, כדי שממנה יוכלו לפרוץ למבצר מצדה. במבצר היו קרוב לאלף איש, לוחמים ומשפחותיהם. אנשי מצדה נוכחו לדעת כי אפסה תקוותם והם בחרו להתאבד ובלבד שלא ליפול בשבי. הם העלו באש את המבנים, ואז הרג כל אחד מהם את בני משפחתו. עשרה אנשים שעלו בגורל הרגו את יתר הלוחמים, ואחר שלחו יד בנפשם. כאשר הגיעו החיילים הרומיים למחרת, נתגלו לעיניהם מאות גופות.
על פי חלק מההערכות מתו במהלך המרד כ-90% מתושבי ירושלים, וכך גם כשליש מהתושבים היהודים בסביבות ישראל המודרנית. בשנים שלאחר המרד נשללו זכויות ציבוריות ודתיות של יהודים באזורים שונים באימפריה הרומית.
חורבן בית שני הביא להתערערות החברה היהודית בארץ ישראל, מנע את יכולתם של יהודי הארץ לקיים את הפולחן שהיה מקובל עד אז, ושמט מתחת לרגליהם כמה מיסודות דתם – מקום הפולחן המרכזי, תפקיד הכוהנים, פולחן המזבח, מצוות רבות מתרי"ג המצוות שעוסקות בפולחן שלא ניתן כעת לקיים, ועוד – כולם לא יכלו להמשיך כפי שהיו. המצב גרם להתפתחותה של היהדות, לנפילתן של כמה מקבוצות הכוח הוותיקות ולעליית חשיבותם של הפרושים והחכמים שמילאו בהדרגה את החלל, וגיבשו את היסודות של מה שעתיד להפוך בהמשך ליהדות הרבנית. הפרושים והחכמים הציעו פרקטיקות חלופיות, למשל רבנים תפסו בהדרגה את מקומם של הכוהנים כהנהגה הרוחנית, ואת מקומם המרכזי של היסודות הקודמים תפסו יסודות חדשים דוגמת התפילה, בתי הכנסת ולימוד תורה, והתחזק מעמדה של התורה שבעל פה שהפכה לאחד מהיסודות המרכזיים בהגות היהודית החל מתקופה זו.
מרד בר כוכבא והתפלגות הנצרות.
לאחר חורבן ירושלים במרד הגדול, חידש הקיסר אדריאנוס את הבנייה בעיר, אולם הפעם ביקש לבנות במקומה את העיר האלילית איליה קפיטולינה, ואף ככל הנראה אסר על היהודים למול את בניהם. התסיסה שהייתה קיימת ממילא, פרצה כמרד נגד הקיסר.
בשנת 132 לספירה פרץ מרד בר כוכבא, שדוכא על ידי הרומאים. לאחר סיכול המרד, כאמצעי הרתעה, החליט אדריאנוס בשנת 135 לעקור מן היסוד כל זכר ושריד לדת ולתרבות היהודית. לשם כך הטיל על היהודים גזירות מרובות שאסרו עליהם לקיים את דתם: כך למשל הוא אסר עליהם להתכנס בבתי הכנסת, לחגוג חגים ולשבות מכל מלאכה בשבת, ללמוד תורה ולקרוא את קריאת שמע ועוד.