Ollivier vant en olympisk sølvmedalje i bryting under Sommer-OL 1924 i Paris. Han kom på andreplass i vektklassen, mellomvekt opp til 79,0 kg, i fristil bak Fritz Hagmann fra Sveits.