Il est le fils du révérend George Harris, curé de Brasted, Kent. Il fait ses études à la Westminster School et à l'Académie royale militaire de Woolwich, et est commissionné à la Royal Artillery en 1760, transféré comme enseigne au régiment d'infanterie (Northumberland Fusiliers) en 1762. Trois ans plus tard, il devient lieutenant et, en 1771, capitaine. Son premier service actif a lieu lors la Guerre d'indépendance des États-Unis, dans laquelle il sert à Lexington, Bunker Hill (grièvement blessé) et dans tous les engagements de l'armée de Howe, sauf un jusqu'en novembre 1778.