Zapisi navajajo da je bila Škofja Loka v 14. stoletju obdana z obzidjem s petimi obrambnimi stolpi in petimi mestnimi vrati. Imela je mestno avtonomijo. Leta 1457 je v mesto vdrl Jan Vitovec, vojskovodja celjskih grofov in mesto požgal. Leta 1476 so mesto napadli Turki. Večkrat je po mestu pustošila kuga. Leta 1511 ga je porušil potres na Idrijskem. Takratni zemljiški gospod škof Filip je mesto obnovil in nekatere stavbe stojijo še danes, Zgornji stolp pa je ostal v ruševinah. Uničujoča za mesto sta bila požara v letih 1660 in 1698. Po tem se mesto ni kaj dosti spreminjalo. Leta 1789 so podrli mestno obzidje in ukinili mestna vrata.