Elven har sitt utspring ikke langt fra byen, 18 km oppstrøms ved landsbyen Melton Constable, og siden 1779 har det vært mulig å seile opp til Aylsham. Dette betydde at man kunne bringe korn, kull og tømmer opp elven, noe som førte til vekst i byen. Byen ligger i nasjonalparken The Broads. Byen ligger nær store eiendommer og storstilte herskapshus ved Blickling, Felbrigg, Mannington og Wolterton, som er viktige turistattraksjoner.