黑人名册》（Book of Negroes），将原属美国、但在英国治下重获自由的黑人奴隶一同撤走，以免他们再次为奴。这批居民起初全部在新斯科舍省落脚，而部分黑人后来再移居到建城不久的塞拉利昂自由城。撤退完毕，卡尔顿亦辞职归国。返国后卡尔顿获任命为全英属北美总督，但实际上只有管治魁北克省的权限。1786年卡尔顿获封为第一代多尔切斯特男爵，于1793年升任上将，在1796年正式退休，最后在1808年辞世。