Olliviers Vater, Demosthènes Ollivier (1799–1884), war ein vehementer Gegner der Julimonarchie König Louis-Philippe I. und wurde nach der Februarrevolution von 1848 als Vertreter Marseilles in die verfassunggebende Nationalversammlung entsandt. Nach dem Ende der kurzlebigen Zweiten Republik durch den Staatsstreich Louis Napoléons am 2. Dezember 1851 wurde er verbannt und kehrte erst 1860 nach Frankreich zurück. Sein Einfluss auf Ledru-Rollin während der Republikzeit verschaffte seinem Sohn Émile jedoch einen Posten als Generalkommissar des Départements Bouches-du-Rhône. Der erst 23-jährige Ollivier war gerade als Anwalt in Paris zugelassen worden. Seine politischen Ansichten waren weniger radikal als die seines Vaters; er schlug einen sozialistischen Aufstand in Marseille nieder und empfahl sich damit General Cavaignac, der ihn zum Präfekten des Départements ernannte. Wenig später wurde er in die verhältnismäßig unbedeutende Präfektur Chaumont (Département Haute-Marne) versetzt, eine leichte Herabsetzung, die möglicherweise von Feinden seines Vaters befördert wurde. Er trat aus dem öffentlichen Dienst aus, um als Anwalt zu praktizieren, was er dank seiner herausragenden Fähigkeiten auch mit Erfolg tat.