初代ゴア男爵ジョン・ルーソン＝ゴア(1709年没)とキャサリン・マナーズ(、1723年3月7日没、の娘)の三男として、1699年ごろにで生まれた。