Manhattanville befindet sich in einem Tal, das während der holländischen Kolonialzeit "Moertje David's Vly" hieß (niederländisch für "Mutter-Davids-Tal") und während der englischen Kolonialzeit "Harlem Cove" hieß. Während des Amerikanischen Unabhängigkeitskriegs war das Tal auch unter dem Namen Hollow Way bekannt. Hier begann die Schlacht von Harlem Heights unter dem Kommando von General George Washington. Während des Britisch-Amerikanischen Kriegs (1812) befanden sich auf den Erhebungen auf dem Manhattanville Pass an der südlichen Grenze des Tals Verteidigungsanlagen – darunter das Fort Laight und das Blockhaus No. 4, wo sich heute die Gebäude von Morningside Gardens und die Public School No. 36 befinden (siehe auch: Manhattan Valley).