大溪至台中市东势路段，是所谓「汉番交界线」，这里的「番」指的是台湾原住民，「汉」指的是从大陆来台屯垦的汉人。为了防止汉人打扰原住民的生存，也为了避免原住民受打扰之后的反抗，于是设下这条界线，旅人依照此线行路，遂成为通行用途。日本在1933年兴建中丰公路（中坜—丰原陆军战备道路），正式将其建设为道路。台中经由南投、云林至嘉义的路段，则分别是「台中南投道」、「南投竹山道」、「竹山林内道」、「斗六小梅道」、「小梅竹崎道」等指定道路。
1962年台湾公路第一次整编.当时即有台3线之存