Жиль де Бэдлсмир принадлежал к старинному и богатому роду, главная резиденция которого, замок Бэдлсмир, находилась в графстве Кент. Отец Жиля, Бартоломью, с 1309 года носил баронский титул. Однако во время войны Диспенсеров барон примкнул к мятежу, потерпел поражение и был казнён (1322 год). Вся его семья — жена, сын Жиль и четыре дочери — оказалась в Тауэре, владения были конфискованы. После свержения короля Эдуарда II узники получили свободу. Жиль в ноябре 1328 года был восстановлен в своих наследственных правах и стал 2-м бароном Бэдлсмир. Он участвовал в шотландском походе Эдуарда III в 1334—1335 годах, в 1336 и 1338 годах вызывался в парламент.