En 1857, el Colegio se trasladó de Park Place, cerca del actual sitio del ayuntamiento, a la 49th Street y Madison Avenue, donde permaneció durante los siguientes cuarenta años.