El museo estuvo originalmente ubicado en la Mansión Gracie, donde el espacio disponible era muy limitado. Una de sus primeras exhibiciones importantes fue «Old New York», la cual se presentó en el Edificio de Bellas Artes en la calle West 57th Street en 1926. El éxito del proyecto fue tal, que llevó a la búsqueda de una nueva sede permanente para el museo. Para ello se realizó un concurso de diseño entre cinco arquitectos invitados, y se seleccionó el diseño Renacimiento colonial de Freedlander. La ciudad donó un sitio en la Quinta Avenida, y los fondos para la construcción del edificio del museo se recaudaron mediante donaciones del público. Los planes originales para el edificio del museo se redujeron, como resultado de la caída de la bolsa de Nueva York en octubre de 1929, sin embargo, el edificio se inauguró finalmente el 11 de enero de 1932.