Durante la Guerra Civil, la casa fue confiscada por el gobierno de la confederación y vendida, aunque Levy consiguió recuperla hasta su muerte, en 1862.