Askham Bryan er nevnt i for 1086. Navnet har sin opprinnelse i eller i betydningen «bosetningen med asketrærne», avledet fra angelsaksisk fra før 600-tallet, , «ask» (tresort) + , «bosetning eller gård». Det er beslektet med norrøne navn som Askum eller Asker. Tillegget «Bryan» er fra normanneren Bryan FitzAlan (død 1306). Han og hans etterkommere hadde en herregård i området.