במהלך שנות ה-30 של המאה ה-20 גדלה הקהילה באופן משמעותי בעקבות נהירת יהודים מגרמניה הנאצית אליה. לאחר הפלישה הגרמנית ללוקסמבורג, ברחו יהודים רבים לבלגיה וצרפת. השלטונות עודדו גירוש והגירת יהודים מהמדינה, והעבירו 16 משלוחים לצרפת ופורטוגל. רבה הראשי של הדוכסות בתקופת מלחמת העולם השנייה והשואה בלוקסמבורג היה הרב אברהם רוברט סרברניק, הוא נשאר במדינה ודאג, תחת הכיבוש הנאצי, להימלטות רבים מבני הקהילה לליסבון שבפורטוגל. באביב 1941, זומנו לפגישה עם אדולף אייכמן שני המנהיגים האחרונים של יהודי לוקסמבורג שם נמסר להם שהגירת יהודים מלוקסמבורג תופסק. הם עצמם יצאו בשיירה האחרונה. מ־ 3,500 היהודים שהיו במדינה ניצלו 1,555 לאחר שנמלטו ממנה, שהסתתרו בה או ששרדו במחנות. 1,945 איש נספו.