William Brewer war der zweite Sohn des königlichen Beamten William Brewer und von dessen Frau Beatrice de Valle. Sein Vater gehörte zu den wichtigsten und mächtigsten Beamten während der Herrschaft von König Johann Ohneland und während der Minderjährigkeit von Heinrich III. Ihm war es gelungen, aus dem Ritterstand zum reichen Baron aufzusteigen und einen beträchtlichen Grundbesitz vor allem in Südwestengland aufzubauen. Als jüngerer Sohn diente William zunächst als Militär. 1197 gehörte er zum Heer von König Richard I. in Frankreich. Während des Kriegs von König Johann Ohneland gegen den französischen König Philipp II. geriet William in der Normandie in Gefangenschaft. Um das Lösegeld für seine Freilassung aufzubringen, lieh der englische König seinem Vater im Juni 1204 1000 Mark. Im Gegenzug sollte William jedes Jahr zwei Wochen lang im Schatzamt arbeiten. 1205 erhielt sein Vater vom König noch weitere 700 Mark für das Lösegeld.