Bei den Olympischen Spielen 1904 in St. Louis waren beim Mannschaftswettkampf nur zwei Mannschaften gemeldet. Kurzerhand schlossen sich zehn Spieler zusammen und gingen als United States Golf Association an den Start. Diese Mannschaft, der auch Fraser angehörte, gewann die Bronzemedaille. Im Einzel hingegen schied er bereits in der Qualifikationsrunde aus.