Senere kom bygning i eie av Savoia-Acaja, en underordnet gren av huset Savoia. Tidlig på 1300-tallet ble huset utvidet til en festning. Et århundre senere ombygde Ludovico av Acaja det til en kvadratisk form, med en indre gårdsrom og en portico (søylegang), og fire runde tårn i hvert hjørne. Formen på dette byggverket er fortsatt gjenkjennelig fra bygningens bakside. Etter at familien Acaja døde ut, ble bygningen residens for gjester til huset Savoia.