ביום 10 בנובמבר 1938 הועלה בית הכנסת המפואר של קהילת יהודי לודוויגסהאפן באש. חפצים יקרי ערך שהיו בו הוחרמו ושאר הדברים נשרפו. הובאו מכבי אש על מנת למנוע נזק למבנים הסמוכים רק כאשר האש הגיעה לקירות החיצוניים של בית הכנסת. ישנן תמונות ועדויות על חיילים נאצים שהופקדו על ביצוע פרעות ביהודי העיר. התרחשו משעי פרעות בכל המשפחות היהודיות ולאחר השמדת בית הכנסת החלו להרוס גם דירות ובתי עסק בבעלות יהודית. למחרת נלקחו רוב הגברים היהודיים מהקהילה למחנה הריכוז דכאו וחלקם שוחררו כעבור מספר שבועות. ר' יוסף יעקב ששימש כחזן, מלמד ושוחט בקהילה נשלח אף הוא ב-1938 למחנה דכאו, ושוחרר לביתו כעבור מספר שבועות. בני משפחתו הצליחו לברוח לסין דרך רוסיה ומשם עברו לאמריקה, אולם ר' יוסף נשאר בלודוויגסהאפן מתוך תחושת אחריות לקהילתו. ב-23 באוגוסט 1942 נלקח למחנה טריזינשטט, משם הועבר למחנה טרבלינקה ושם נפטר. רוב ראשי הקהילה מצאו את מותם במחנה, וחלקם שולחו למחנות אחרים. ב-28 באוגוסט שנת 1940 רוכזו יהודי הקהילה הנותרים בבית הספר המקומי ומשם נשלחו בטרנספורטים שונים למחנות ריכוז ומחנות השמדה. ב־22 באוקטובר 1940 נשלחו כ־185 איש - יחד עם סך הכל למעלה מ -6,500 יהודים מבאדן ומפלינט - למחנה גירס בדרום צרפת במסע לילה וערפל. חלק גדול מהם ועוד חלר נוסף מיהודי לודוויגסהאפן הגיעו לבסוף למחנה אושוויץ שבפולין.