Han var sønn av Amund Linnes Faye (1767–1802) og Anna Boyesen (1772–1802). Faren var i likhet med to av brødrene sine, seilduksmaker på Bragernes, altså Drammen, men døde da Hans var kun fem år gammel. Hans vokste opp hos han Peder Høeg Smith (1760–1812) på Bragernes, hvis avdøde kone Antonette (1767–1801) var gudmora til han Hans.