Уильям Брэндон был незнатным, но богатым землевладельцем из Восточной Англии. Он владел рядом поместий в Саффолке, а также в Кембриджшире. Отцом Уильяма, предположительно, был Роберт Брэндон, заседавший в палате общин в 1421 году. Уильям родился до 1430 года и начал службу в качестве вассала местных магнатов — герцогов Норфолк, причём поднялся к 1476 году до старшего члена совета при 4-м герцоге Джоне Моубрее. В 1468 году Брэндон был депутатом палаты общин, в 1469 году участвовал в осаде замка Кейстер, а в 1471 году сражался с Ланкастерами при Тьюксбери. Король Эдуард IV на поле битвы посвятил его в рыцари. В 1472 году сэр Уильям был одним из десяти рыцарей, присягнувших на верность принцу Уэльскому, будущему королю Эдуарду V. В 1475 году он принял участие в походе во Францию, который закончился подписанием договора в Пикиньи. Как член королевского двора, в 1479 году Брэндон был назначен рыцарем-маршалом.