Музей изначально располагался в особняке Грейси, где свободные места были ограничены. Одним из первых его крупных экспонатов стал "«Старый Нью-Йорк»", представленный в здании на Западной 57-й улице в 1926 году. Успех проекта привел к поиску собственного помещения для музея. Для строительства нового здания музея был проведен конкурс между пятью приглашенными архитекторами, для здания был выбран стиль колониального возрождения. Город пожертвовал участок на Пятой авеню, а средства на строительство здания музея были собраны по общественной подписке. Первоначальные планы по строительству музея были отменены в результате биржевого краха Уолл-Стрит в 1929 году, тем не менее, здание было посвящено 11 января 1932 года.