Grévy oli koulutukseltaan lakimies ja toimi vuodesta 1837 asianajajana Pariisissa. Vuoden 1848 helmikuun vallankumouksen jälkeen hänet valittiin kotiseutunsa edustajana Ranskan perustuslakia säätävään kansalliskokoukseen, jossa hän liittyi tasavaltalaiseen vasemmistoon. Louis-Napoleon Bonaparten valtaannousua ennakoiden hän kannatti toimeenpanovallan jättämistä heikoksi. Toisen keisarikunnan aikana 1851–1868 Grévy työskenteli yksityisenä asianajajana ja oli mukana tasavaltalaisten poliittisissa piireissä. Vuonna 1868 hänestä tuli Pariisin asianajajakunnan puheenjohtaja ("bâtonnier"). Hänet valittiin samana vuonna täytevaalissa parlamentin alempaan kamariin eli lainsäätäjäkuntaan Juran edustajana ja hän uusi paikkansa seuraavan vuoden tavallisissa vaaleissa. Grévy kohosi lainsäätäjäkunnassa nopeasti liberaalin opposition johtohahmoksi. Hän arvosteli voimakkaasti keisari Napoleon III:n uutta perustuslakihanketta, joka hänen mielestään vain vahvisti monarkiaa. Hän äänesti myös sodanjulistusta vastaan heinäkuussa 1870.