Yil å begynne med var det kalt og lå på det som den gang var kjent som . Det første sykehuset ble bygd i 1832 for fangene på straffeanstalten . Etter at hospitalet ble ødelagt av brann i 1858 tegnet arkitekten James Renwick jr. en ny bygning. Det ble hetende , og fangene fullførte byggingen i 1861. I tillegg til de innsatte ble også New Yorks fattigere befolkningslag behandlet her. I 1870 ble navnet endret til Charity Hospital.