Bei den Olympischen Spielen 1904 in St. Louis waren beim Mannschaftswettkampf nur zwei Mannschaften gemeldet. Kurzerhand schlossen sich zehn Spieler zusammen und gingen als United States Golf Association an den Start. Diese Mannschaft, der auch Carleton angehörte, gewann die Bronzemedaille. Im Einzel hingegen schied er entgegen der Erwartungen bereits in der ersten Runde gegen Daniel Sawyer aus. Sein Neffe Murray Carleton trat ebenfalls bei diesem Turnier an.