Gallatin vokste opp i Sveits og ble uteksaminert fra Université de Genève. Han emigrerte til USA i 1780 og arbeidet som språklærer for fransk ved Harvard University før han deretter flyttet til det sørlige Pennsylvania (som da var en del av Virginia) hvor han etablerte byen New Geneva. Han fikk sin første politiske erfaring som delegat til delstaten Pennsylvanias konstitusjonelle kongress i 1789.