En noviembre de 1864 sufrió un incendio que fue pronto controlado pero el 13 de julio de 1865 el American Museum resultó destruido por completo en uno de los peores incendios de la historia de la ciudad de Nueva York.