Olivier ble olympisk mester i rugby union under OL 1900 i Paris. Han var med det franske laget som vant den første olympiske rugby unionturneringen. Det var tre lag som deltok og det ble spilt kun to kamper. Frankrike vant over Tyskland med 27-17 og de beseiret det britiske laget med 27-8.