Zelo močan potres je prizadel naše kraje 26. marca 1511. Žarišče potresa je bilo na območju Idrije (Potres na Idrijskem 1511). Skoraj vse zidane zgradbe so bile močno poškodovane ali pa porušene. Tudi vsi trije loški gradovi so bili hudo prizadeti. Starega gradu pod Lubnikom in Zgornjega stolpa na Kranceljnu zaradi močnih poškodb niso več obnovili. Takoj pa so pričeli obnavljati sedanji loški grad. Takratni freisinški škof Filip (1498 - 1541) je naročil glavarju loškega gospostva Pavlu Raspu, da naj skrbi za njegovo obnovo. Enako je veljalo za kaščo na Spodnjem trgu. Zato so naložili podložnikom nove davke in uvedli dodatno tlako. V spomin na potres in obnovo so na obe zgradbi namestili spominski plošči. Čeprav je od takrat preteklo že skoraj petsto let, sta obe plošči ohranjeni še danes.