Bathurst era il figlio maggiore ed erede di Sir Benjamin Bathurst, e di sua moglie, Frances Apsley, figlia di Sir Allen Apsley. Apparteneva a una famiglia che si dice si sia stabilita nel Sussex prima della conquista normanna.