Etter ødeleggelsen av disse kongedømmene, og ødeleggelsen av det første tempelet, ble israelittene forvist til Babylon. Etter omtrent 70 år fikk en del israelitter lov til å vende tilbake til regionen, og kort tid senere bygde de Det andre tempelet i Jerusalem. Senere etablerte de Det hasmoneiske dynasti i området. Regionen ble erobret av Romerriket i år 63 før Kristus. I de første par århundrene, under en rekke opprør mot Romerriket, ble det andre tempelet ødelagt - og det skjedde en generell utvisning av jøder fra dette området. Området ble senere erobret av arabere som invaderte det bysantinske riket, og etablerte et muslimsk kalifat på 700-tallet under fremveksten av islam. Gjennom århundrene varierte størrelsen på den jødiske befolkningen i området. Etter århundrer med jødisk diaspora, så 1800-tallet for alvor fremveksten av sionismen: en jødisk nasjonalistisk bevegelse som hadde et ønske om å se selvbestemmelsen til det jødiske folket gjennom opprettelsen av et hjemland for jødene i Palestina.