Émile Ollivierin isä Demosthène Ollivier oli tunnettu tasavaltalainen, joka toimi helmikuun vallankumouksen jälkeen kansalliskokouksen jäsenenä 1848–1849 ja karkotettiin maasta Louis Napoleonin kaapattua vallan 1851. Émile valmistui 1847 lakimieheksi ja vallankumouksen jälkeen hänet nimitettiin Bouches-du-Rhônen departementin komissaariksi. Puolen vuoden kuluttua hän siirtyi Haute-Marnen prefektiksi, mutta hänet erotettiin Louis Napoleonin tultua presidentiksi joulukuussa 1848. Sen jälkeen Ollivier luopui radikaaleimmista mielipiteistään ja keskittyi uraansa asianajajana, kunnes hänet vuonna 1857 valittiin lainsäätäjäkuntaan. Siellä hän liittyi ”viiden ryhmänä” tunnettuun keisari Napoleonin vastaiseen oppositioon.