带有文艺复兴风格的第二代车站，于明治34年（1901年）8月25日随着淡水线通车及新竹至基隆铁路改线完工而启用（当时称为「台北停车场」）。随后并于明治41年（1908年），在第二代车站斜对面兴建当时以设备高级着称的台北铁道饭店（1945年毁于美国与中华民国联军空袭，现址为新光摩天大楼）。原本台北车站也兼办货运，但在桦山货物驿（战后改名为华山货运站，已废止）于昭和12年（1937年）12月1日落成后，货运又随之停办。
后车站.大正12年（1923年）3月6日，另外兴建于车站内轨