Potter spielte Golf beim "St. Louis Country Club". Bei den Olympischen Spielen 1904 in St. Louis konnte er mit der "Trans Mississippi Golf Association" im Mannschaftswettkampf die Silbermedaille gewinnen. Im Einzel hingegen schied er in der ersten Runde bereits gegen den Briten Simpson Foulis aus. Neben seiner olympischen Silbermedaille war ein zweiter Platz beim "Missouri Amateur" 1907 sein größter Erfolg im Golfsport. Potter zog später nach New York City, wo er in einer Anwaltskanzlei arbeitete.