1774 wurde er mit dem Auftrag nach Nordamerika entsandt, als Befehlshaber des Nordamerika-Geschwaders der Royal Navy die Einhaltung der britischen Handelsgesetze durchzusetzen. Er befehligte die britischen Flottenoperationen in der Frühphase des Unabhängigkeitskriegs bei den Kämpfen um Boston 1775/76. Die von Anfang an schlechte Versorgungslage und geringe Anzahl von (seetüchtigen) Schiffen behinderte seine Operationen, dies wurde ihm jedoch wiederholt als persönliches Versagen ausgelegt. In Boston genoss Graves keinen guten Ruf; als Nepotist im allerengsten Wortsinn für die Bevorzugung seiner zahlreichen Neffen, die ebenfalls in Diensten der Royal Navy standen bekannt, war es vor allem sein mehr als angespanntes Verhältnis zu General Gage welches sich durch gegenseitige Abneigung definierte, das sich auf sein Ansehen niederschlug. Letzteres soll wohl zumindest teilweise durch einen Disput der beiden Ehegattinnen bedingt worden sein, die sich aktiv als Parteigängerinnen ihres jeweiligen Gatten engagierten und sich letztlich an der Frage zerstritten, ob bei einer Zusammenkunft zum Kartenspiel das Tanzen erlaubt sein solle.