Woodbury døde i embetet den 4. september 1851 i Portsmouth. Fylket Woodbury County i delstaten Iowa og byen Woodbury i Minnesota har for øvrig fått sitt navn etter Levi Woodbury.