Området hvor SoHo i dag ligger var opprinnelig et kupert område med omliggende grønne marker som ble delt av flere indianerstammer. De første europeerne ankom Manhattan i 1524, men det var først i 1620-årene at den langstrakte halvøyen ble bosatt. Bosettingen var konsentrert til den søndre del av Manhattan, kalt New Amsterdam. Nord for Fulton Street, hvor World Trade Center i dag ligger, ble det på 1600-tallet etablert landbruksområder med større gods for byens overklasse hvor de kunne trekke seg tilbake. SoHo, som lå lengre nord bestod imidlertid lenge av dyrket mark.