heodosius'un tahta geçmesiyle, Hıristiyanlık, çöküş dönemine girmiş olan Roma İmparatorluğu'nun tek devlet dini haline gelmiştir. Roma İmparatorluğu'nun son yüzyıllarında Yahudi ve Hıristiyan yaşamları "tamamiyle birbirinin zıddı yönlerde" gelişmiştir. Yahudi yaşamı otonom, ademi merkeziyetçi ve cemaat odaklı hale gelirken, Hıristiyan yaşamı ise, Papa ve Roma İmparatoru'nun yüksek otoritesi altında katı bir hiyerarşik sistem halini almıştır.

İsrail'in çöküşünün ardından Yahudi yaşamı temelde demokratik bir karakter taşımıştır. Talmud'daki hahamlar, Tesniye'deki (29:9) "önderleriniz, oymak başlarınız, ileri gelenleriniz, görevlileriniz, bütün öbür İsrailli erkekler… Tanrınız Rab'bin önünde duruyorsunuz," pasajını, "Sizler için önderler, oymak başları, ileri gelenler, görevliler atadıysam da hepiniz nazarımda eşitsiniz" şeklinde yorumlamıştır (Tanhuma). Talmud'da, hakların her zaman beraberinde sorumlulukları da getirdiğinin altını çizilir: "hepiniz birbirinizden sorumlusunuz."

Yahudilerin Katolikliğe geçen Roma İmparatorluğu ve Zerdüştçü Pers İmparatorluğu'nun dış baskılarından kurtulabilmiş olması birçok tarihçi tarafından "gizemli" bir olay olarak nitelendirilmiştir. Örneğin, Wilhelm von Humboldt, bu konuyu "Nice parlak zekaların salt insani düzeyde açıklanabileceğinden şüphe duyduğu dünya ve dinler tarihindeki olağandışı bir fenomen" sözleri ile kaleme almıştır.

Ünlü Yahudi tarihçi Salo Wittmayer Baron'a göre, İsrail'in düşüşü ile Roma'nın çöküşü arasındaki önemli yüzyıllar boyunca, Yahudiler varlıklarını sürdürebilmek için bir dizi mekanizma geliştirmişlerdir. Baron, Yahudiliğe ve Yahudi topluluğuna güç kazandıran en az sekiz etken sayar:


Bu şekilde, saldırganlık sadece Yahudilerin birliğini ve içsel güçleri ile bağlılıklarını daha da pekiştirmekten başka bir şey yapmamıştır.

Her ne kadar Babilliler zamanından itibaren Yahudiler İsrail dışına da yerleşmişlerse de, Yahudi ayaklanmasına Romalıların verdiği tepki, Yahudi yaşamının merkezini kadim memleketlerinden diyasporaya kaydırmıştır. Yahudilerin bir kısmı Romalıların adını Filistin olarak değiştirdiği Yehuda'da kalırken, bazıları esir olarak satılmış, geriye kalanlar da Roma İmparatorluğu'nun diğer bölgelerinde vatandaş olmuştur. Yahudi diyasporasına getirilen bu geleneksel açıklama Yahudilerin neredeyse tamamen Yehuda'dan sürgün edilenlerin biyolojik torunları olduğuna inanan geçmişteki ve bugünkü Rabinik ve Talmud alimlerinin hemen hepsi tarafından kabul edilir. İslamın ortaya çıkışından altı yüzyıl önce, (gerek savaş gerekse İmparator Konstantin'in 313 yılında Hıristiyanlığa geçişinin ardından, Hıristiyan misyonunun uyguladığı baskı yüzünden harabeye dönen) Filistin'den Suriye, Babil ve İran Platosu'na kitlesel göç yaşanmış, bu yüzden, söz konusu bölgelerdeki nüfusa "muazzam ölçüde Yahudi kanı karışmıştır."

Bazı laik tarihçiler, Antik Çağ'daki Yahudilerin çoğunluğunun muhtemelen Greko-Romen dünyadaki, özellikle de İskenderiye ve Anadolu'daki şehirlerin din değiştiren sakinlerinin torunları olduğunu savunurlar. Buna göre, diyasporadan sadece ruhani açıdan ve Yahudi itikatının köşe taşı haline gelen kayıp ve evsizlik hissinden etkilenmişler, dünyanın çeşitli yerlerinde gördükleri zulüm de bu hissiyatı desteklemiştir. Yahudilik dinini Helenistik medeniyetin dört bir yanına yayan bu tür din değiştirme politikaları Yahudi devletinin yıkılmasının ardından artmış ve ancak Hıristiyanlığın güç kazanması ile sona ermiş görünmektedir. Miladi dönemde, Mısır Yahudilerinin sayısının toplam yedi buçuk milyonluk bir nüfus içinde yaklaşık bir milyona ulaştığı tahmin edilmektedir.

Bu teori ile sunulan genetik deliller sağlam olmasa da, kimi tarihçiler tarihi kayıtlara dayanarak Hıristiyanlığın arifesinde, Roma İmparatorluğu nüfusunun %10'unu Yahudilerin oluşturduğuna inanmaktadır, ki böyle bir rakam ancak yerel halktan Yahudiliğe geçişler ile açıklanabilir.

Diyaspora'nın ilk birkaç yüzyılında, en önemli Yahudi cemaatleri, Babil Talmudu'nun kaleme alındığı ve nispeten hoşgörülü rejimlerin Yahudilere özgürlük sağladığı Babil'de bulunmaktaydı. Yahudilerin çok daha katı bir tutum ile karşı karşıya kaldığı ve resmi mevkilere gelmelerine veya ibadethaneler inşa etmelerine izin verilmediği Bizans İmparatorluğu'nda ise durum daha kötüydü. Eski topraklarına geri dönecekleri inancıyla, Yahudiler 614 yılında Filistin'i istila eden Persler ile ittifak kurup onların saflarında savaşmışlar ve Kudüs'teki Bizans garnizonunu yenerek üç yıl boyunca şehri idare etmişlerdir. Ancak Perslerin Bizans İmparatoru Herakleios ile barış yapmalarının ardından Hristiyan yönetimi yeniden tesis edilmiş ve bunu izleyen katliamdan sağ kurtulmayı başaran Yahudilerin Kudüs'e girmeleri bir defa daha yasaklanmıştır.

Bizans İmparatorluğu'nun büyük bölümü ile Babil'in İslam orduları tarafından fethedilmesi Yahudilerin yaşamını genel olarak iyileştirmiş olsa da ikinci sınıf vatandaş statüleri değişmemiştir. Bu İslami fetihlere tepki olarak, Batı 1096'daki Birinci Haçlı Seferi Kudüs'ü yeniden ele geçirmeye teşebbüs etmiş, bunun sonucunda bölgedeki birçok Yahudi cemaati de ortadan kaldırılmıştır. Yahudiler, Kudüs'ü Haçlılara kadar en gayretli şekilde savunanlar arasında yer almıştır. Şehir düştüğünde, Haçlılar bir sinagoga topladıkları Yahudileri burada yakmışlardır. Yahudiler, Haçlılara karşı Hayfa'yı neredeyse tek başlarına savunmuşlar, kuşatma altındaki şehri tam bir ay boyunca tutmuşlardır (Haziran-Temmuz 1099). O dönemde, son Yahudi devletinin yok olmasından bin yıl sonra, ülkenin her yerinde Yahudi cemaatleri bulunmaktaydı. Bunlardan, aralarında Kudüs, Tiberya, Ramla, Aşkelon, Caesarea ve Gazze'nin de bulunduğu ellisi tarihçiler tarafından bilinmektedir.

Yahudiler Avrupa'ya Roma İmparatorluğu döneminde yerleşmiştir. Kilisenin tam olarak örgütlenmesinden önce, erken Orta Çağ toplumu hoşgörülüydü. 800 ve 1100 yılları arasında, Hıristiyan Avrupa'da 1,5 milyon Yahudi yaşıyordu. Serf veya şövalyeler olarak feodal sistemin parçası olmadıkları için şanslıydılar, zira bu şekilde birçok Hıristiyan için hayatı çekilmez hale getiren baskı ve sürekli savaş halinin dışında kalıyorlardı. Sıradan Hıristiyanların aksine, Yahudilerin çoğunluğu okuma yazma biliyordu. Finans, yönetim ve hekimlik alanlarında sağladıkları önemli hizmetlerden ötürü Hıristiyan toplumu ile ilişkilerinde, krallar, prensler ve piskoposlar tarafından korunmaktaydılar. Hatta İncil üzerine çalışan Hıristiyan alimler Talmudik hahamlara danışmaktaydı. Tüm bunlar, Roma Katolik Kilisesi'nin reformları ve güç kazanması, özellikle de vaazler veren Fransisken ve Dominiken keşişlerin uydurduğu hikâyeler ve şehirlerde yaşayan, kıskanç ve rekabetçi orta sınıf Hıristiyanların yükselişi ile değişmiştir. 1300 yılına gelindiğinde, keşişler ve yerel rahipler, halka Yahudilerden nefret etmeyi ve onları öldürmeyi öğretmek için, Paskalya yortusu sırasında dönemin kıyafetleri içindeki Yahudileri İsa'yı öldürürken betimleyen sahne oyunlarından yararlanıyorlardı. Yahudiler üzerindeki baskılar ve yaşadıkları yerlerden kovulmaları işte bu noktada yaygın bir hal almıştır. On dördüncü yüzyılın ortalarında Kara Veba salgınlarının Avrupa'yı harap ederek nüfusun yarıdan fazlasının ölümüne yol açmasıyla, Yahudiler de günah keçisi seçilmiştir. Nihayet, 1500 yılı civarında, Yahudiler aradıkları güvenliği buldukları Polonya'da yeniden refaha kavuşmuşlardır.

Norman Roth, bir noktada İspanya'da diğer tüm Avrupa ülkelerinin toplamından daha fazla Yahudinin yaşadığını savunmaktadır. Kimi tarihçilerin hesaplamalarına göre, 12. yüzyılda Sefarad Yahudileri dünyadaki Yahudi nüfusunun %90'ını oluşturmaktaydı, ancak bu oran hızla düşmüştür.

Yahudi cemaatleri sürekli olarak Haçlı saldırılarının hedefi olmuş, giderek sertleşen yasalar da Yahudilerin ekonomik faaliyetlerin büyük bölümünden dışlanmasına ve toprak sahibi olmalarının yasaklanmasına neden olduğundan, Yahudilerin sadece aralarında borç para vermenin de bulunduğu birkaç mesleği yapmaları mümkün olmuştur. Yahudiler, 1300 yılından sonra İngiltere, Fransa ve Kutsal Roma Cermen İmparatorluğu'ndan kovulmuşlar, nüfusun büyük bölümü Doğu Avrupa'ya, özellikle de 1700'lü yıllara kadar Yahudilere eşsiz şekilde hoşgörü ile yaklaşılan Polonya'ya gitmiştir. 1764 yılına gelindiğinde, Lehistan-Litvanya Birliği'nde 750.000 Yahudi yaşamaktaydı. O dönemde dünya üzerinde yaşayan Yahudilerin toplam nüfusunun ise 1,2 milyon olduğu tahmin edilmektedir.

Yahudileri hedef alan son ve en büyük toplu kovulma ise, İber Yarımadası'nın 1492 yılında Hıristiyanlar tarafından yeniden fethedilmesinin (reconquista) ardından meydana gelmiştir (bkz. İspanya'daki Yahudilerin tarihi ve Portekiz'deki Yahudilerin tarihi). On yedinci yüzyılda, kovulmaların sona ermesinin ardından, bireysel koşullar ülkeden ülkeye ve dönemden döneme farklılıklar göstermiş, ancak genel bir kural olarak, Batı Avrupa'daki Yahudiler resmi kararlar veya gayrı resmi baskılar yoluyla tecrit edilmiş gettolarda ve ştetllerde yaşamaya zorlanmışlardır. Yirminci yüzyılın başlarına gelindiğinde, çoğu Avrupa Yahudisi, genel olarak günümüzde Polonya, Litvanya, Beyaz Rusya ve komşu bölgeleri içine alan Rus İmparatorluğu'nun Batı sınırındaki Pale Yerleşimi'nde yaşıyordu.

Müslümanların yönetimindeki İber Yarımadası'nda, Yahudiler matematik, astronomi, felsefe, kimya ve filoloji alanlarında önemli ilerlemeler sağlayacak özgürlüğe sahiptiler. Bu dönem kimi zaman, İber Yarımadası'ndaki Yahudi kültürünün altın çağı olarak da adlandırılır.

Leon Poliakov, İslamın ilk dönemlerinde, Yahudilerin büyük ayrıcalıklara sahip olduklarını ve cemaatlerinin refaha erdiğini yazar. Ticari faaliyetler yürütmelerini engelleyecek herhangi bir kanun ya da sosyal engel bulunmamaktaydı. Birçok Yahudi Müslümanlar tarafından yeni fethedilmiş bölgelere göç ederek buralarda cemaatler oluşturmuştur. Bağdat veziri kendi sermayesini Yahudi bankerlere emanet etmişti. Deniz ve köle ticaretinin çeşitli kısımlarının başına Yahudiler getirilmişti. Milattan sonra 10. yüzyılda halifeliğin en önemli liman şehri olan Siraf'ın valisi d