El duque de Atenas Gutierre VI de Brienne inició las primeras modificaciones en el período (1342-1343), agrandándolo sobre "via della Ninna" y otorgándole el aspecto de una fortaleza.