James Gambier vervet seg i marinen i 1767, og tjenestegjorde først på HMS «Yarmouth», hvor onkelen var kaptein. Familiens innflytelse sikret ham raske forfremmelser, og han steg raskt i gradene.