Xavier Stockmar war der Sohn des bischöflichen Oberforstaufsehers Wenceslas Stockmar. Sein Bruder Antoine starb 1812 in der Schlacht an der Beresina. Nach der obligatorischen Schulzeit und einer kaufmännischen Lehre in der Waffenfabrik von Pont d’Able arbeitete er als Geselle in der Uhrenfabrik Seloncourt in Doubs, Frankreich, und in der Schmiede von Lucelle, in der Stockmar 1829 zum Unterdirektor wurde. Kurze Zeit später fing er an, mit Wein zu handeln, und führte eine Fuhrhalterei.