上，经集集、水里至日月潭一带开垦，形成埔里社集集道路，也是史上首条进入埔里地区的道路。其次是水里同富路段，沈葆桢治台时期开辟「中路」，即林杞埔（南投县竹山镇）璞石阁（花莲县玉里镇）道路，为前山连通后山之要径，台21线水里同富段即由此路发展而来。日治时期，甲仙至旗山路段被列为指定道路「旗山甲仙道」，全长35.036公里。此外，由于东西横贯交通、中央山脉抚番需要以及东埔温泉的开发，日本政府对水里同富段有一定程度之重视。
1962年台湾公路第一次整编.公路法实施后，公路主管机关依法将全台