La creencia popular es que en el siglo XV muchos de los habitantes del despoblado de la Avellaneda (situado río abajo, en el mismo término de Castañar) se trasladan a lo que hoy es el pueblo de Castañar de Ibor, a causa de una plaga, dando origen al casco urbano actual.