Narodil se na Bahamách, kde jeho otec John Gambier působil jako zástupce guvernéra. Byl vychován v Anglii u své tety Margaret, provdané za admirála Charlese Middletona. Již v deseti letech vstoupil do služeb Royal Navy a pod velením svého strýce viceadmirála Jamese Gambiera (1723–1795) sloužil postupně na několika lodích. Zúčastnil se války proti USA, během níž dosáhl hodnosti kapitána, krátce byl ve francouzském zajetí a v roce 1780 se zúčastnil dobytí Charlestonu. Po skončení války v roce 1783 žil deset let v soukromí v Anglii. Znovu byl do aktivní služby povolán v roce 1793 a vyznamenal se ve válce proti Francii. Postupoval v hodnostech (kontradmirál 1795, viceadmirál 1799). V letech 1795–1801 byl členem vlády jako jeden z lordů admirality. Po pádu Pittovy vlády v roce 1801 odešel znovu do aktivní služby na moři a v letech 1801–1802 byl jedním z velitelů v Lamanšském průlivu. V letech 1802–1804 byl guvernérem a vrchním velitelem v kanadské provincii Newfoundland, kde udělováním vlastnických práv k půdě podpořil proces kolonizace a rozvoj zemědělství. Po návratu do Anglie se v druhé Pittově vládě stal znovu lordem admirality (1804–1806), v této době byl přímým podřízeným svého strýce lorda Barhama, který byl tehdy ministrem námořnictva. V Portlandově vládě byl v letech 1807–1808 byl druhým lordem admirality (jeho nadřízeným byl jako ministr námořnictva lord Mulgrave.