太人被掳到巴比伦，留下的只有一些老弱病残。这次事件史称"巴比伦之囚"。尽管犹太人被掳到巴比伦，但他们并没有忘记自己的宗教和文化，他们依然在一些祭司和利未人的后裔带领之下举行各种宗教活动，并开始在巴比伦建立犹太会堂。犹太人也在这段时间开始编纂典籍，《旧约圣经》被认为是在这段时期编纂的。前539年，新巴比伦王国被波斯帝国的居鲁士二世所灭。居鲁士二世颁布居鲁士文书，下令犹太人可以回去重建家园，不少犹太人便回到以色列重建耶路撒冷。他们在前520年开始重建第二圣殿，并于前445年至前443年重建耶路撒冷城墙，