Rockefeller trakk seg tilbake fra den føderale regjeringen i 1956 for å fokusere på delstaten New York State og nasjonal politikk. Fra september 1956 til april 1958 ledet han . Det ble etterfulgt av hans lederskap av . Under New York delstatsvalg 1958 ble han valgt til guvernør av New York med en margin på over 600 000 stemmer ovenfor den sittende guvernøren W. Averell Harriman, selv om 1958 var et totalt sett var et godt valgår for demokratene i andre deler av nasjonen. Rockefeller ble gjenvalgt de tre etterfølgende valgene i 1962, 1966 og 1970, som økte delstatens rolle innen utdanning, miljø, transport, boliger, velferd, medisinsk hjelp, sivile rettigheter samt kunst og kultur. For å betale for økningen i delstatsregjeringens forbruk økte Rockefeller skattene, for eksempel ble en merverdiavgift introdusert i New York i 1965. Han sa opp sin post tre år inn i hans fjerde periode for å arbeide ved Commission on Critical Choices for Americans.