Несмотря на военные успехи, Карлтон подвергся критике за недостаток энергии при преследовании американцев. Кроме того, в 1777 году подчинённый ему генерал-майор Бергойн, посланный на соединение с главными силами генерал-лейтенанта Хау, был разбит и капитулировал при Саратоге. 27 июня 1778 года Карлтон оставил пост губернатора и отплыл в Англию.