Nur kurze Zeit später fuhr er, wieder auf der "Preston" unter dem Kommando von William Hotham, 1. Baron Hotham abermals nach Nordamerika. Er erhielt das Kommando über die Sloop "HMS Savage" und versah damit Dienste in den British West Indies und Nordamerika. Seine Beförderung zum Captain, heute etwa dem Kapitänleutnantsrang entsprechend, erfolgte im Mai 1781. Als stellvertretender Kommandant für Sir Edmund Affleck führte er dessen Schiff, die 74er und damit Linienschiff dritter Klasse "HMS Bedford" in die Seeschlacht vor der Chesapeake Bay am 5. September 1781. Danach erhielt er als Flag captain, also als Kommandant des Flaggschiffes des befehlshabenden Admirals, das Kommando über die "Bedford" und war mit dieser Ernennung im Rang eines Kapitäns im heutigen Sinn. Graves nahm in dieser Eigenschaft sowohl in der Seeschlacht von St. Kitts am 25. und 26. Januar 1782 als auch an der Schlacht von Les Saintes am 12. April 1782 teil, in dieser zeichnete er sich besonders aus. Er erhielt im Herbst 1782 das Kommando über die Fregatte "HMS Magicienne", ebenfalls eines ehemaligen französischen, von den Briten erbeuteten Schiffes. Damit geriet er am 2. Januar 1783 in ein heftiges Gefecht mit der französischen Fregatte "Sibylle", in der beide Schiffe beinahe zum Wrack zusammengeschossen wurden. Er rettete das Schiff nach Jamaika, die "Sibylle" wurde später von den Briten gekapert.