O Lorde de Abinger foi casado duas vezes, a segunda vez apenas seis meses antes de sua morte. Com sua primeira esposa (morta em 1829) teve três filhos e duas filhas. Seu título nobiliárquico passou para o seu filho mais velho, Robert (1794–1861). Seu segundo filho, o general Sir James Yorke Scarlett (1799–1871), foi líder da carga da cavalaria pesada na Batalha de Balaclava. Seu terceiro filho, Peter Campbell Scarlett, foi diplomata. Sua filha mais velha, Mary, casou-se com John Campbell, 1º Barão de Campbell, e recebeu o título de Baronesa de Stratheden (Lady Stratheden e Campbell) (morta em 1860). Sir William Anglin Scarlett (morto em 1831), irmão mais novo do Lorde de Abinger, foi chefe-de-justiça na Jamaica.