En 1115 entra al frente del Obispado de Segovia don Pedro de Agén y cinco años más tarde el concejo dona al cabildo de la ciudad, la ladera de la colina que se extendía desde la iglesia de San Andrés hasta el Alcázar.