Toponymisk bevis antyder at Charlbury var en angelsaksisk bosetning fra en gammel alder, og kan bli assosiert med «Faerpinga in Middelenglum» listet i fra 600- til 800-tallet. Stedsnavnet er en sammensetning av to angelsaksiske elementer. er et befestet sted (jf. borg). henviser til en «frimann av laveste rang», men andre kilder antyder at også kan være et personnavn. Likheten mellom Ceorl og personnavnet Charles er ingen tilfeldighet: «Charles», «ceorl» og «churl», sammen med det moderne tyske navnet Karl er avledet fra samme urgermanske ord , noe som etymologisk fører tilbake til første forklaring, «karl», «carl», «ceorl», er gamle betegnelser for en mann fra lav samfunnsklasse.