Desde 1520 aproximadamente, el castillo se renombró y pasó a ser "Castillo Aragonés", convirtiéndose en sede Episcopal del Obispado de Ampurias.