「飯高駅」の由来は、奈良・平安時代の駅制(後に宿制)により設けられた「飯高駅」に由来する。