Dilahirkan di Paris oleh Felix Passy, askar Waterloo, dan Marie-Louis-Pauline Salleron, bapa saudara Passy, Hippolyte Passy, merupakan menteri kabinet untuk Louis Philippe dan Louis Napoleon. Passy mempelajari undang-undang dan mengamalkannya untuk tempoh yang singkat sebelum menerima jawatan sebagai akauntan di Majlis Negeri ("Conseil de Droit") dari 1846 dan melepaskan jawatan itu pada 1849 untuk melanjutkan pelajar ke universiti dalam bidang ekonomi. Sesuai dengan prinsip-prinsip republik, beliau menarik diri daripada politik selepas rampasan kuasa Louis Napoleon pada tahun 1851 dan enggan berdamai dengan Empayar Kedua; sekaligus tidak melayakkan beliau menjawat sebarang jawatan dalam kerajaan. Beliau telah menjadi ahli ekonomi profesional pada tahun 1857 dan mula mengajar ekonomi politik di Paris.