Bei den Olympischen Spielen 1904 in St. Louis waren beim Mannschaftswettkampf nur zwei Mannschaften gemeldet. Kurzerhand schlossen sich zehn Spieler zusammen und gingen als United States Golf Association an den Start. Diese Mannschaft, der auch Cadwallader angehörte, gewann die Bronzemedaille. Cadwallader fungierte dabei als Organisator und Kapitän der Mannschaft. Im Einzel hingegen schied er in der ersten Runde gegen Ralph McKittrick aus.