Podczas najazdu szwedzkiego, miasto zostało prawie całkowicie zniszczone. W XVIII wieku następuje powolna odbudowa miasta. Przywilej Stanisława II Augusta z 24 maja 1780 roku nadaje dobrom Wysokie Mazowieckie będącym w posiadaniu Andrzeja Piotrowskiego, pozwolenie na odbywanie się jarmarków na św. Rocha, św. Antoniego, św. Andrzeja i św. Annę.