I 1801 ble han utnevnt til United States Attorney for distriktet New York, og mens han enda hadde dette vervet ble han samme år utnevnt til ordfører av New York City. Som ordfører var han sentral i forsøkene på å dempe utbruddet av Gulfeber som herjet i New York i 1803. I dette arbeidet ble han selv rammet av sykdommen, og fikk dermed mye sympati blant innbyggerne. Da han omsider kom over sykdommen var hans finansielle situasjon svekket som følge av vanstyre fra en fortrolig funksjonær, noe som hadde ført til en stor statlig gjeld. Som følge av gjelden overlot han samtlige eiendommer og sa opp begge sine verv i New York før han deretter tidlig i 1804 flyttet til Louisiana.