Henri-Gustave est le fils de Pierre-Gustave Joly (1798-1865), négociant français d'origine suisse et de Julie-Christine Chartier de Lotbinière (1810-1887), seigneuresse de Lotbinière et fille de Michel-Eustache-Gaspard-Alain Chartier de Lotbinière, militaire et politicien canadien. Baptisé à Épernay dans la religion calviniste, Henri-Gustave étudie à Paris au collège St-Louis et à l'institut Monge. C'est sa tante Catherine Alléon et sa grand-mère Ursula Fehr de Brunner qui veillent à son instruction tout comme à celle de son jeune frère, Edmond-de Lotbinière Joly qui deviendra officier dans l'armée britannique et mourra en Inde lors de la Révolte des cipayes à Lucknow. De retour à Québec à l'âge de , il suit son père en voyage et sur les chantiers forestiers de leur seigneurie. Tout en apprenant le métier de seigneur et d'investisseur, il croque dans ses carnets de dessins les hommes à l'ouvrage, les bâtiments pittoresques et les points de vue intéressants. Henri-Gustave travaille aussi dans un cabinet d'avocat de Québec pour parfaire ses connaissances du droit canadien. Il deviendra membre du barreau canadien en 1855.