Ο Φρεντερίκ Πασσύ γεννήθηκε στο Παρίσι. Ο πατέρας του, Φελίξ Πασσύ, ήταν βετεράνος πολεμιστής της Μάχης του Βατερλώ, ενώ ο θείος του, Ιππόλυτος Πασσύ, ήταν υπουργός τόσο του Λουδοβίκου Φιλίππου, όσο και του Ναπολέοντα Γ΄. Ο Πασσύ σπούδασε νομικά και τα εξάσκησε για λίγο, προτού αποδεχθεί μία θέση στο Κρατικό Συμβούλιο (Conseil de Droit) 1846-1849. Ωστόσο, υπό την επίδραση του θείου του παραιτήθηκε από τη θέση αυτή και επέστρεψε στο πανεπιστήμιο για να σπουδάσει οικονομικά. Πιστός στις δημοκρατικές αρχές του, αποσύρθηκε από τα δημόσια πράγματα μετά το πραξικόπημα του Ναπολέοντα Γ΄ και αρνήθηκε να συμφιλιωθεί με το καθεστώς του. Ακολούθησε σταδιοδρομία οικονομολόγου από το 1857 και το 1860 άρχισε να διδάσκει πολιτική οικονομία στο Παρίσι όσο και στην επαρχία.