Градът е административен център на земите на абатство, и привилегиите му са потвърдени открал Карл IV през 1348 г. Градът се разраства около голям правоъгълен пазарен площад подобно на градовете в Силезия, включително и болница и укрепления, които са започнати през 1357 г. и завършени през 1380 г. Манастирът Броумов остава силно обвързани с абатството Бржевнов, от където през 1420 г. монасите бягат по време на Хуситските войни. Въпреки това, манастирът също претърпява значително опустошение по време на хуситските атаки и после отново по време на Тридесетгодишна война, след което е възстановен в бароков стил по първоначалните планове на Кристоф Динценхофер и продължени от неговия син, Килиан Игнац Динценхофер. От 1703 до 1810 г. абатството Легницке Поле в Силезия е подчинено на манастира в Броумов.