Det ble grunnlagt i 1869 av John Bard under navnet St. Stephens College. Det var da tilknyttet den episkopale kirke i New York. På 1930-tallet var det et tilfluktssted for europeiske intellektuelle, blant dem Hannah Arendt, Stefan Hirsch og filosofen Heinrich Blücher.