Issu d'une famille de Bresse, son grand-père, Claude Goujon, est directeur des droits réunis à Dijon, son père, Alexandre-Claude Goujon, à la ferme des aides de Bourg-en-Bresse. Dans cette ville, celui-ci épouse le Jeanne Marguerite Nicole Ricard, fille de Joseph Ricard, avocat à la Cour, premier secrétaire de l'Intendance de Bourgogne née en 1745. En 1774, la famille s'installe à Provins. À la suite d'un revers de fortune de son père, il doit abandonner ses études et part pour Dieppe, puis Saint-Malo pour y apprendre la marine. Embarqué à douze ans comme pilotin à bord du "Diadème", il assiste sur le "Saint-Esprit" à la bataille d'Ouessant contre la flotte anglaise. Le lendemain, il écrit à son père une lettre lue à haute-voix dans le jardin du Palais-Royal, sous l'arbre de Cracovie.