Alrededor de dicha torre (hoy adosada al llamado Palacio de los Condes de Aranda) se creó un núcleo habitado, que inicialmente (en 1071) parece ser que pertenecía al Monasterio de San Juan de la Peña.