Bei den Olympischen Spielen 1904 in St. Louis waren beim Mannschaftswettkampf nur zwei Mannschaften gemeldet. Kurzerhand schlossen sich zehn Spieler zusammen und gingen als United States Golf Association an den Start. Diese Mannschaft, der auch Oliver angehörte, gewann die Bronzemedaille. Im Einzel hingegen schied er in der Qualifikation bereits aus.