Poloha obce u starodávné zemské obchodní tepny mezi Olomoucí a Prostějovem, jejíž význam byl umocněn vybudováním císařské silnice, měla své klady i zápory. V době válek tudy táhla všechna vojska putující našimi zeměmi. Během třicetileté války se zde v roce 1642 objevovali Švédové rozložení u Olomouce a podle záznamů roku 1656 bylo celkem z 58 domů pouze 19 obydlených. Obec se vzpamatovávala jen velmi pomalu, v letech 1657–1678 se podařilo nově obsadit 22 gruntů a i 30 let po válce jich pustých zůstalo ještě 17. V polovině 18. století navíc muselo všech 29 držovských sedláků a 27 chalupníků vykonávat třídenní robotu se třemi koňmi, respektive dvou denní „pěší robotu“ každý týden. Tato povinnost se nevztahovala na dva domkáře a 14 podruhů. Navíc musely být ročně vrchnosti odevzdány naturálie ve formě příze a peněžní částkou. V roce 1742 byla obec vypleněna Prusy. Roku 1758 se zde pruské vojsko usadilo a vybudovalo pekárnu, která zásobovala oddíly v celém okolí. Tehdy došlo u Držovic srážky Prusů s císařskými oddíly, kdy zvítězili Prusové. Roku 1805 se obcí prohnaly armády Rusů a Rakušanů nastupující do bitvy u Slavkova. Později se v místní krčmě (dnes "U Romže") konalo francouzsko-rusko-rakouské jednání o rozmístění vojsk a demarkační linie.