Staden drabbades hårt av det danska inbördeskriget (Grevefejden) 1534-1536, då staden blev nedbränd, samt av de därpå följande krigen mot Sverige 1657-1660. Staden förlorade sin rätt att bedriva utrikeshandel och utsattes för hård konkurrens av den nyanlagda staden Fredericia på andra sidan Lilla Bält, som alltmer övertog Middelfarts färjetrafik. Även tullbefogenheterna överfördes till Fredericia och under 1700-talet hade Middelfart (som hade ensamrätt på överfartstrafiken) problem med olagliga transporter över sundet, vilka företogs av de lokala fiskarna. Under 1700- och 1800-talen minskade även fiskenäringen i betydelse, vilket förvärrade situationen. Under 1800-talet fick staden en ekonomisk uppgång. I krigen mot Tyskland 1848 och 1864 var staden en viktig bastion i försvaret av Fyn och blev bombarderat från Jylland av tyska kanoner.