Phelps ble olympisk mester i golf under OL 1904 i St. Louis. Han var med på det amerikanske laget som vant lagkonkurransen foran to andre amerikanske lag. Det var kun tre lag, ti mann på hver, som deltok i lagkonkurransen i 1904.