しかし、1914年(大正3年)に三河鉄道(現在の名鉄三河線)が渡しから700メートル程東側を南北に開通すると、高浜の町の中心部が東に移動し、人や物の移動に変化が生まれたため、徐々に衰えていったという。