国道2号沿袭古代的山阳道。山阳道以京都起点，不经大坂直接往神户方向，东西贯穿山阳地方后至九州。1876年（明治9年）依据，指定为一等国道。1885年（明治18年）2月24日，内务省告示第6号「」指定国道3号「东京往神户港路线」、国道4号「东京往长崎港路线」，但都未经大坂。现在大坂府大坂市至兵库县西宫市的区间是被指定为二十六号「大坂府至广岛鎭台连结路线」。1920年（大正9年）4月1日，依实施「」，指定国道二号「东京市至鹿儿岛县厅所在地路线（甲）」，相当于现在的国道1号、国道2号、国道3号。这次也