Der einsetzende Niedergang wurde durch eine Naturkatastrophe beschleunigt. Am 6. April 1667 erschütterte ein schweres Erdbeben die Stadt. Über 5000 Einwohner einschließlich des Stadtoberhauptes kamen dabei ums Leben. Die meisten Gebäude der Stadt wurden beschädigt. Lediglich die Stadtmauer blieb weitgehend unbeschädigt. Die Gebäude im Baustil der Renaissance – Paläste, Kirchen und Klöster – wurden zerstört. Der Sponza-Palast, der Rektorenpalast, das Franziskanerkloster, die Erlöserkirche, der Skočibuha-Palast sowie noch einige andere Gebäude überstanden das Erdbeben. Die Stadt wurde zwar wieder aufgebaut – die internationale Hilfe wurde maßgeblich durch Stjepan Gradić organisiert –, erreichte jedoch den Glanz aus der Zeit vor dem Erdbeben nicht mehr.