Oliver vant en olympisk bronsemedalje i golf under OL 1904 i St. Louis. Han var med på det amerikanske laget som kom på tredjeplass i lagkonkurransen i golf bak og . Det var kun tre lag, alle amerikanske med ti mann på hver, som deltok i lagkonkurransen i golf som ble spilt 17. september 1904.