L'idea originale di un museo di arte moderna fu sviluppata nel 1928 principalmente da Abby Aldrich Rockefeller (moglie di John D. Rockefeller Jr.) e da due delle sue amiche, Lillie P. Bliss e Mary Quinn Sullivan. Il loro gruppo divenne noto con vari soprannomi, tra cui "the Ladies" (It. "Le Signore"), "the daring ladies" (It. "Le ardite Signore"), e "the adamantine ladies" (It. "Le Signore adamantine"). Come sede del museo da loro ideato affittarono un edificio piuttosto modesto e lo aprirono al pubblico il 7 novembre 1929, 9 giorni dopo il crollo di Wall Street. Abby invitò A. Conger Goodyear, in precedenza presidente del consiglio di amministrazione della Albright Art Gallery di Buffalo, a diventare presidente del nuovo museo. La Rockefeller stessa assunse l'incarico di tesoriere. Si trattò di uno dei primi musei statunitensi ad essere dedicato interamente all'arte moderna e d'avanguardia (si veda anche la Gallery of Living Art di Gallatin e La Société Anonyme di K.Dreier) europee.