Im Mai 1917 zum Lieutenant Colonel befördert, begleitete Harbord im gleichen Monat John J. Pershing als Chef des Stabes der American Expeditionary Forces (AEF) nach Europa. Im Mai 1918 wurde ihm unter Beförderung zum Brigadier General der Befehl über die der 2nd Infantry Division angeschlossene "Marine Brigade" übertragen, die er bei Château-Thierry und im Wald von Belleau führte. Am 14. Juli 1918 übernahm er dann von Omar Bundy den Befehl über die 2nd Division und führte sie in der Zweiten Marneschlacht. Bereits am Ende des Monats erhielt er als Generalmajor den Befehl über die "Services of Supply" der AEF und war in dieser Rolle bis Mai 1919 tätig. Er wurde dann erneut Stabschef der AEF.