William est le fils de Robert d'Ufford (1298-1369), un proche conseiller du roi Édouard III d'Angleterre qui a reçu le titre de comte de Suffolk en 1337. Il s'illustre sur les champs de bataille des premières années de la guerre de Cent Ans : il est présent à Crécy, à Calais et à Poitiers. Son épouse Margaret, fille du Lord Trésorier Walter Norwich, lui donne au moins huit enfants. William est leur quatrième fils, ce qui explique que ses jeunes années soient mal connues.