Neben ihm waren mehrere Verwandte, darunter sein Cousin Thomas Graves, dessen Geschwader der französischen Flotte unter dem Befehl des Admirals de Grasse in der Schlacht von Chesapeake Bay unterlag sowie sein gleichnamiger Neffe Thomas Graves, welcher infolge der Seeschlacht von Kopenhagen 1801 als Horatio Nelsons "second-in-command" in den Adelsstand erhoben wurde, ebenfalls Marineoffiziere.