Jeune homme, Vibert a servi dans l'armée de Napoléon dont il est un fervent admirateur. Dans son "Essai sur les roses" (Édition de 1826), et dans sa réponse à Pierre Boitard en page quinze, il précise avoir servi l'Empereur pendant huit ans avant de quitter l'armée comme sergent aux voltigeurs à la suite de ses blessures subies lors de la première campagne de Naples . Après ses faits d'armes, il se tourne vers le jardinage et devient propriétaire d'une quincaillerie rue du Four à Paris. Son magasin était près de chez André Dupont, horticulteur de l'impératrice Joséphine. Il s'intéresse alors à la création de roses. En 1805, Il épouse Adélaïde Charlotte Heu (1785-1816), fille de Marie-Madeleine Desramées et de Théodore Heu, dentellier à Versailles et avec laquelle il a trois enfants : Aimée, Adélaïde et Théodore, futur associé d'Adolphe Goupil et père du peintre Jean-Georges Vibert.