Hij werd in 1928 tot gouverneur van New York gekozen. Direct begon hij met een krachtig sociaal hervormingsprogramma. In 1932 was hij voorzitter van een commissie die de corruptie in het Democratische bestuur in New York onderzocht en die burgemeester Jimmy Walker dwong af te treden. Van meer nationaal belang was de 'Brain Trust' (hersenbank, denkgroep) van adviseurs, die door Roosevelt bijeengebracht werd om New York te helpen herstellen van de gruwelijke nasleep van de malaise die volgde op Beurskrach van 1929.