Bei den Olympischen Spielen 1904 in St. Louis waren beim Mannschaftswettkampf nur zwei Mannschaften gemeldet. Kurzerhand schlossen sich zehn Spieler zusammen und gingen als United States Golf Association an den Start. Diese Mannschaft, der auch Weber angehörte, gewann die Bronzemedaille. Im Einzel hingegen schied er bereits in der ersten Runde gegen Burt McKinnie aus.