Det er få detaljer som er kjent om Gowers unge år. Han var sannsynligvis født i velstående familie i Kent i sørøstlige England og kan ha vært en jordeier. Det er antatt han praktiserte lov i eller i nærheten av London.