Ebbe tre sorelle; una, Francesca (detta Fanny), poi sposata Gherardi, condivise le passioni politiche dei fratelli e in seguito fu tra le conoscenze di Stendhal. Quattro dei fratelli (Luigi, Teodoro, Giacomo e, per breve tempo, Angelo) scelsero come lui la carriera delle armi e furono su posizioni rivoluzionarie. Sulla sua formazione giovanile influì, parte per contrasto parte per imitazione, lo zio paterno Galliano (nato a Brescia il 1º agosto 1739). Questi, dopo una vita irregolare, con atti frequenti di vero banditismo nel feudo subalpino della famiglia, che lo portarono alla detenzione nei Piombi di Venezia dal 1779 al 1785 (fu il secondo, dopo Giacomo Casanova, che riuscì a fuggirne), si era convertito alla causa rivoluzionaria. Durante la Campagna d'Italia, in un periodo in cui il nipote fu talora presso di lui, cercò di incidere sulla collocazione politica della Valtellina, ma fu catturato e passato per le armi il 23 luglio 1797 a Cepina Valdisotto. Stendhal ne presentò la figura in "Roma, Napoli e Firenze" con il nome di conte Vitelleschi.