New York domineres av fjellkjeder, de fleste tilhørende til Appalachene, som strekker seg langs USAs østkyst, helt nord til Canada. Sørvestlige deler av delstaten dekkes av Alleghenyplatået. I den sørøstlige delen av New York ligger Catskillfjellene. Fjellkjeden ligger vest for Hudsonelva, mellom New York City i sør og Albany i nord. Helt nord i delstaten ligger Adirondackfjellene. New Yorks høyeste fjell, Mount Marcy (1629 meter over havet) ligger i denne fjellkjeden.