Latrobe tilbragte sine siste leveår i New Orleans, der han arbeidet med et vannverksprosjekt. Han døde i 1820 av gulfeber.