Манхэттенвилл расположен в низине, которая во времена нидерландского владычества называлась «долиной Матери Давида» ().. С приходом англичан она стала называться Гарлемской бухтой (). Во время Войны за независимость на территории Манхэттенвилла произошла битва за Харлем-Хайтс, одним из командующих в которой был Джордж Вашингтон. Защитные сооружения на юге Манхэттенвилла использовались и в Войне 1812 года. Ныне на их месте построены жилые комплексы Морнингсайд-Гарденс () и средняя школа № 36.