En 1181, el rey Alfonso II de Aragón entregó al obispo los derechos sobre el castillo; derechos que en 1185 pasaron a la iglesia de Santa Tecla de Tarragona.