Während des Pogroms am 10. November 1938 kamen circa vierzig Männer auf drei Lastautos aus dem benachbarten Boos nach Fellheim. Sie drangen in die Synagoge ein und zerschlugen einen Teil der Inneneinrichtung. Danach entwendeten sie die Gegenstände für Ritus und Kult, zehn alte Torarollen und einen Toramantel aus dem 18. Jahrhundert und verbrannten sie auf dem Rückweg nach Boos. Zur Unterstützung der geplanten Aktion kamen zusätzlich SS-Leute aus dem nahen Memmingen nach Fellheim. Die SS-Leute zerstörten den Rest des Inventars und beschädigten den Toraschrein schwer. Einige Dorfbewohner beteiligten sich an der Verwüstung. Die Mehrheit der Fellheimer Einwohnerschaft widersetzte sich aber der Zerstörung der Synagoge. Während des Krieges wurde das leerstehende Gebäude militärisch genutzt und diente der Unterbringung von Flugzeugmotoren.