След края на съдружието с Розие, Одюбон се установява със семейството си в Хендерсън, Кентъки, където се занимава с търговия, но продължава и да рисува. През 1812 г. във Филаделфия, се отказва от френското си поданство и става американски гражданин. Британско-американската война от 1812 г., разстройва плановете на Одюбон да премести бизнеса си в Ню Орлеанс. Прави ново съдружие с брата на жена си и заедно откриват магазин в Хендерсън. Между 1812 и 1819 г. времената за семейството са добри. Одюбон закупува земя и роби, създава ферма и мелница. След 1819 г., когато САЩ са обхванати от първата голяма финансова криза, бизнесът му фалира и Одюбон е хвърлен в затвора за дългове. След като излиза на свобода, за да издържа семейството си, е принуден да се занимава с различни неща – преподава френски език, рисуване и танци, рисува портрети и чертежи. По същото време жена му работи като гувернантка, възпитавайки деца на по-заможни семейства.