Fra 1372 var John av Gaunt , og Aylsham ble hovedbyen for hertugdømmet Lancaster. John av Gaunt var antagelig aldri selv i byen, men borgerne nøt en rekke privilegier, som fritak fra jurytjeneste utenfor herregårdens område og fra visse skatter.