François Jourdan de la Passardière est né dans une famille d'origine normande. Il est le fils de Michel Jourdan de la Passardière et de Françoise Le Caplain. Comme son frère aîné, Olivier Jourdan de La Passardière, il rentre très jeune dans la Marine de guerre, à onze ans. Embarqué sur le "Jupiter", il participe à l'Expédition de Saint-Domingue mais est fait prisonnier par les Anglais. Il réussit à s’évader dans la troisième année de sa captivité. À seize ans, il est nommé aspirant.