Zamek, który przetrwał do dnia dzisiejszego, pochodzi z czasów dominacji weneckiej. Po przejęciu Rozafat w 1396 Wenecjanie dokonali jego przebudowy i umocnienia. W czasach osmańskich zamek stanowił centrum administracyjne do 1863, kiedy urzędnicy przenieśli się do miasta. W historii Albanii znany jest przede wszystkim z heroicznej obrony przeciwko Turkom osmańskim w czasie bitwy o Szkodrę 1478-1479. Był także oblegany przez wojska czarnogórskie w czasie I wojny bałkańskiej. 7 kwietnia 1939 w czasie włoskiej inwazji na Albanię dwóch oficerów albańskich ostrzeliwało z zamku oddziały włoskie, dopóki nie skończyła im się amunicja.