Mot slutten av 1000-tallet besto dagens by Pontefract av to distrikter og adskilte lokaliteter som Tanshelf og Kirkby. Middelalderhistorikeren Orderic Vitalis nedtegnet i 1069 at Vilhelm Erobreren reiste over Yorkshire for å slå ned et opprør som hadde rammet York, men da han på vei til byen ble videre ferd over elven Aire, omtrent på det sted hvor dagens Pontefract ligger, hadde vadestedet blitt blokkert av en gruppe anglo-norrøne opprørere som hadde ødelagt broen og holdt den motsatte bredden med makt. Et slikt krysningspunkter av elven vil ha vært betydningsfullt for byens eldste tid og ga tilgang mellom Pontefract og andre bosetninger i nord og øst, som York. Historikerne mener at det er sannsynligvis denne historiske hendelsen med Vilhelm Erobreren som ga Pontefract dens moderne navn. Stedsnavnet Pontefract har sitt opphav i latin fra «ødelagt bro», dannet av elementene , «bro, og , «ødelagt».