Navnet er angelsaksisk, opprinnelig , og i tidlig middelalder var Aylesbury en viktig markedsby. Den tiltrakk seg også pilegrimer på grunn av den lokale helgenene St. Osyth. Sognekirken viet til jomfru Maria er bygget over en eldre saksisk kirke, som man finner rester av i krypten. Da normannerne erobret England tok kongen over herregården selv, og i (1086) er den beskrevet som en kongelig (herregård).