En la segunda mitad del siglo X, el castillo pasó a la propiedad de la familia Crescenzi, que lo reforzó y le dio el nombre "Castrum Crescenzi", nombre que conservó el edificio durante mucho tiempo, incluso tras pasar a manos de otras familias como los Pierleoni o los Orsini o de los papas, pues se usó tal nombre hasta finales del siglo XV, aunque simultáneamente con el de Castrum Sancti Angeli.