1901年12月12日，宾州铁路总裁Alexander Cassatt宣佈将建造隧道沟通泽西市和纽约市，并在曼哈顿岛西部34街建设大型车站，即为如今的宾州车站。1903年，下穿哈德逊河的北河隧道正式开工，为两座单线隧道。同时，下穿东河沟通曼哈顿岛和皇后区的东河隧道也开工。隧道为四座单线隧道，并联结长岛铁路（当时为宾州铁路控股公司）和桑尼赛德车辆段（Sunnyside Yard），后者位于皇后区，为宾州车站的主要附属调车场和车辆段。电气化最初为600伏直流第三轨供电，后在1930年代改为11,000交流架