Rozkvět obce však přerušila třicetiletá válka. Poté, co bylo město v roce 1643 dobyto Švédy, vyplenění neušla ani židovská obec. Zemřelo více než 70 Židů včetně rabína Mordechaje ben Moše. Tragický osud kroměřížských Židů během třicetileté války barvitě líčí Kroměřížská selicha. Ve švédských válkách byly židovské obce těžce decimovány. V roce 1644 bylo kroměřížské židovské město v troskách. Mnoho z kroměřížských Židů uprchlo z města. V listině biskupa Leopolda Wilhelma z roku 1649 je však Židům nařízeno vrátit se a podílet se na obnovení výstavby. V roce 1648 došlo k novému přílivu židovských uprchlíků z oblasti Ukrajiny a Polska, kteří prchali před pronásledováním při Chmelnického povstání. Židovská obec byla dále rozšířena o osm rodin z Vídně, odkud byli Židé v roce 1670 vykázáni. Jejich příchod byl schválen biskupem Lichtensteinem z Kastelkornu.