La historia de la antigua ciudad de Fumel se confunde con la de su castillo, que desde sus orígenes (los señores de Fumel aparecen en los textos a fines del siglo XI) dominaba el paso del Valle del Lot, algo que hizo de él un lugar muy disputado.