65年，巴勒斯坦地区被罗马帝国占领，犹太人的国家不复存在。罗马帝国对统治下的犹太人起义进行了镇压，导致犹太人开始大规模地离开故土。而拜占庭帝国时期，犹太人的境遇变得更为恶劣，当地政府不允许犹太人建造宗教礼拜的场所，也不批准任何犹太宗教机构的设立。基于对弥赛亚再度降临的信仰，犹太人与侵入巴勒斯坦地区的波斯人联盟，一度收复了被拜占庭帝国统治的耶路撒冷，并统治了该城三年时间。但此后波斯帝国与拜占庭皇帝希拉克略议和，基督教再次占据巴勒斯坦的统治地位，而之前幸存下来的犹太人再次被驱逐出耶路撒冷，开始了流亡，直到二十世