El Downtown Athletic Club cerró definitivamente tras los atentados del 11 de septiembre de 2001. El edificio estaba a cuatro cuadras al sur del World Trade Center, que destruido en los ataques. El edificio no sufrió daños, pero estaba en una zona de exclusión a la que el público no podía ingresar durante un período prolongado después de los ataques. En ese momento, los pisos superiores estaban siendo renovados y todas las ventanas estaban abiertas, lo que permitió que estraran escombros y otros materiales. Además, el abandono provocó el deterioro paulatino de otros elementos como pintura descascarada, rotura de tuberías de agua y mal funcionamiento de los ascensores. El cierre prolongado provocó importantes disminuciones en las finanzas del Downtown Athletic Club, por lo que consideró fusionarse con otro club.