Après des études à l'Académie royale d'architecture à Paris, Arsène Lacarrière-Latour s'embarque pour la partie française de l'île de Saint-Domingue (Haïti) afin de s'occuper de propriétés familiales. À partir de 1791, le pays est en proie à de violents combats à la suite du soulèvement des esclaves qui se transforme en révolution. Bonaparte décide alors d'envoyer une expédition armée pour reprendre le contrôle de l'île. Arsène Lacarrière-Latour est nommé officier du génie. Après la défaite de l'armée française commandée par Donatien-Marie-Joseph de Rochambeau (fils du maréchal de France, le héros de l'indépendance américaine) il rejoint les États-Unis, d'abord à New York en 1804, où il se lie avec Edward Livingston, homme politique américain, et frère du diplomate Robert Livingston, signataire à Paris du traité de cession de la Louisiane par la France aux États-Unis.