Debido a la amplia oferta del Downtown Athletic Club, necesitaba al menos 5 000 miembros para seguir siendo rentable, y la mayoría de sus miembros trabajaba en las industrias financiera o jurídica o en el Lower Manhattan. Después del colapso de Wall Street de 1929, muchas personas de ese grupo demográfico ya no podían pagar el costo de la membresía. El club se declaró en quiebra en abril de 1936 a pesar de tener 3 500 socios. Había incumplido sus cuatro años anteriores de impuestos sobre la propiedad inmobiliaria; había declarado ganancias antes de intereses e impuestos de 231 000 dólares negativos durante el año anterior; y tenía activos por 4,9 millones de dólares, incluida una hipoteca de 4,6 millones de dólares sobre el edificio de 4,3 millones de dólares. En agosto de 1936, el club hipotecó su propiedad para pagar 260 000 dólares de impuestos atrasados. Posteriormente, el edificio se vendió a un tercero en 1947. El Downtown Athletic Club volvió a adquirir el título del edificio en 1950, tras haber firmado una hipoteca a 10 años con Connecticut Mutual Life Insurance Company. El control total del edificio no se restableció hasta 1963.