En 1180 el rey Alfonso II de Aragón donó el edificio a la Orden Hospitalaria de San Juan de Jerusalén, aunque manteniendo como suya la parte sur del edificio, al lado de la antigua puerta de Toledo.