サムナーは1733年頃にバージニア植民地ナンスモンド郡で生まれた。父は同名のジェスロ・サムナー、母はマーガレット（旧姓サリバン）だった。一家が最初にナンスモンド郡に入植したのは1691年だった。フレンチ・インディアン戦争の1758年から1761年、サムナーはバージニア植民地軍の中尉となり、ウィリアム・バード3世の指揮下にペンシルベニアで従軍した。1758年11月25日、デュケーヌ砦の占領のときに参戦した。1760年、ペンシルベニアにあるベッドフォード砦の指揮官になった。1761年に担当連隊が解隊になった後、ナンスモンド郡の家に戻った。1761年から1764年、ノースカロライナ植民地のビュート郡に移転し、グランビル郡出身のメアリー・ハーストと結婚した。この夫婦には3人の子供が生まれた。娘のメアリーは政治家トマス・ブラウントと結婚し、ブラウントは後にアメリカ合衆国下院議員を何期も務めることになった。