Ufford erhielt seinen Namen nach dem Dorf "Ufford" in Suffolk, wo er zum Zeitpunkt seines Todes Vasall der Bischöfe von Ely und der Earls of Norfolk war. Vermutlich hatte er diese Besitzungen vor 1256 von seinem Vater geerbt, wobei der Name und der Stand seines Vaters unbekannt sind. Vor 1257 war Ufford in den Dienst des Thronfolgers Lord Eduard getreten, zu dessen Heer er in diesem Jahr bei einem Feldzug nach Wales gehörte. Im Juli 1261 gehörte er zum Gefolge Eduards, als dieser nach Frankreich reiste, und im Januar 1264 war er mit Eduard in Boulogne. Auf Eduards Bitte hatte König Heinrich III. bereits 1261 Uffords Schulden bei jüdischen Geldverleihern übernommen. Während des zweiten Kriegs der Barone stand Ufford wohl im Dienst von Henry of Almain, einem Cousin Eduards, der Ufford aus seinen Besitzungen eine jährliche Pension von £ 50 gewährte. Diese Pension tauschte Ufford 1280 mit Eduard, der inzwischen englischer König geworden war, gegen die lebenslange Verwaltung von Stadt und Burg Orford in Suffolk ein.