Gegen Ende des 13. Jahrhunderts ließ das Haus Anjou einen großen Wartturm mit dem Namen Torre Mastia bauen, um die Region vor Überfällen der Sarazenen zu schützen. In einer Verordnung vom 12. November 1480 verfügte Ferdinand I. von Aragón die Errichtung verschiedener Burgen in Kalabrien, unter anderem in Pizzo, mit dem gleichen Ziel. Der bisherige Turm wurde von 1481 bis 1485 zu einer Burg erweitert. Eine rechtwinklige Mauerstruktur und ein weiterer etwas kleinerer kegelförmiger Turm wurden hinzugefügt. Außerdem wurde ein Wachtturm, der den Hafen überblickte, unterhalb der Burg errichtet. Mehrere Geschütze dienten als Bewaffnung. Die Burg erhielt den Namen Castello Aragonese. Das Erdbeben von 1783 erschütterte die Burg, insbesondere die unteren Kammern haben dabei Schaden genommen. Sie wurden 1790 wieder hergestellt.