Ya en el siglo XIV, una vez disuelta la Orden del Temple, Ponferrada pasó a depender del linaje de los Castro.