Au début des années 1930, à la suite du krach boursier et des enquêtes financières le concernant, Charles E. Mitchell perdit une grande partie de sa fortune et dut quitter New York, renonçant à sa demeure.