Turecká nadvláda nad městem byla nezpochybnitelná až do závěru 17. století, tzv. Velké turecké války. V roce 1688 vojsko Habsburské monarchie proniklo přes řeku Sávu a Dunaj na území dnešního Srbska. Pravoslavné obyvatelstvo se přidalo k rakouské armádě. Osmanská armáda vzpouru tvrdě potlačila. Samotné město bylo vzpourou téměř zničeno. Když po další válce mezi Rakouskem a Tureckem získala Habsburská monarchie na krátko část dnešního centrálního Srbska, nalezla Čačak jako "neosídlené a prázdné místo". Po roce 1738, kdy se Čačak znovu vrátil do rukou Osmanské říše, bylo město ještě jednou vypáleno. Obyvatelstvo odešlo ve dvou vlnách stěhování na sever na území dnešní Vojvodiny a dále do Uher. Po nějaké době opuštěný Čačak začali osidlovat Srbové původem z Hercegoviny, Černé Hory, Bosny a dalších regionů Balkánu.