Fengselet ble åpnet i 1828, og var da det tredje fengselet i New York. Det første, New York City's Newgate, ble bygget i 1797 i Greenwich Village og lagt ned da Sing Sing åpnet, og det andre var Auburn State Prison fra 1816.