侧城墙（后来城墙被拆除，改筑为「北三线路」，即今忠孝西路）附近，车站位于台北市北门町，正门开在「表町通」（今馆前路），并与台湾总督府博物馆（今国立台湾博物馆）遥遥相立。带有文艺复兴风格的第二代车站，于明治34年（1901年）8月25日随着淡水线通车及新竹至基隆铁路改线完工而启用（当时称为「台北停车场」）。随后并于明治41年（1908年），在第二代车站斜对面兴建当时以设备高级着称的台北铁道饭店（1945年毁于美国与中华民国联军空袭，现址为新光摩天大楼）。原本台北车站也兼办货运，但在桦山货物驿（战后改名