Le , et alors que la guerre révolutionnaire fait rage dans le Massachusetts depuis près d'un an, le Congrès provincial à Halifax choisi Sumner pour être colonel, et donc commandant, du . Il participe à la défense de Charleston contre une tentative d'invasion britannique en 1776, après quoi il est impliqué dans les plans avortés du major général Charles Lee pour envahir la Floride britannique. Pendant les phases de planification de l'invasion de la Floride, Sumner ne s'accorde pas avec Peter Muhlenberg du pour savoir lequel des deux doit prendre le commandement sur les troupes coloniales de Lee tandis que ce dernier voyage en avant de ses hommes. Ce différend n'est résolu que lorsqu'un tribunal militaire accorde à Muhlenberg un mandat temporaire après que Sumner omit de comparaître et de plaider sa cause. Le , le régiment de Sumner arrive à Savannah en Géorgie, où il se joint à Lee, qui est arrivé plus tôt dans le mois. L'invasion prévue de la Floride ne se concrétise pas, et Sumner laisse son régiment à Savannah pour recruter plus de soldats en Caroline du Nord.