I den 26. november 1832 ble hestesporveien på Fourth Avenue (nå Park Avenue South) og the Bowery gaten mellom 14th Street og Prince Street på en samlet lengde på en engelsk mil (1600 m) åpnet med to hestetrukne vogner modellert på den gjeldende praksisen for jernbanevogner. Det var egentlig ikke etablering av sporvei, men en jernbanelinje rett inn til datidens sentrum i den voksende storbyen fra Harlem Village omlagt 8 miles (12 km) på Manhattan som lokalbane i regi av jernbaneselskapet New York & Harlem Rail Road. (NY&HRR) Hele traseen ble ferdigbygd i 1838, og var i virksomheten fram til åpningen av Grand Central Terminal i 1872, da all togaktivitet «ned i byen» ble stoppet. Etter innføringen av dampdrift var dampdrevne tog sendt ned til New York City Hall fram til ett damplokomotiv eksplodert 4. juli 1839. Etter dette var det lagt ned forbud mot damplokomotiver, så passasjervognene (meget store boggivogner) måtte videre fra sør for 32th Street med firespenn (fire hester) som trekkraft. Dette var mulig ved at man hadde meget rommelige gateveger som gjort det mulig å legge ut dobbeltspor uten å sjenere den øvre trafikken.