Desde la Alta Edad Media hasta la expulsión de los moriscos en 1609 existió un asentamiento en lo alto de la montaña al lado de la torre.