中山道幹線
こうして東西から中山道幹線に着手した。当初から碓氷峠および木曽川・長良川・揖斐川などの大河川には難工事が予想されたことから、半田線および直江津線を資材運搬線として建設して中間区間の工事を先行する方針としていた。そこで1886年(明治19年)に南清に命じて、中間区間の測量を先行させた。その結果、この中間区間は意外な難工事であり、建設費がかさんで工期は長引き、開業後も列車の速度が遅く運転費用が増大することが判明した。そこで東海道線についても内々に調査し、東京 - 名古屋間について以下の調査結果を得た。
この結果、井上鉄道局長官は東海道線採用の結論となり、伊藤博文内閣総理大臣に意見を提出した。この変更に当たっては軍部の反対も予想されたため、井上は内務大臣兼陸軍大臣であった山縣有朋を事前に訪問して詳細な地図と見積もりを示して同意を得たという。伊藤首相も、山縣の同意を得ていることを確認してから、経路変更に賛成した。こうして1886年(明治19年)7月19日閣令第24号において幹線を中山道から東海道へ変更することを布告した。この変更がすんなりとできたのは、井上が長州閥の一員であったからであり、そうでなければ辞任に追い込まれるような事態であったとの指摘もある。
さらに、井上鉄道局長は1882年(明治15年)2月に、長浜 - 関ケ原 - 大垣間の鉄道建設を提案する建言書を提出し、琵琶湖の湖上連絡を介して京阪神地方と北陸地方を結ぶ路線にこの区間を加えることで、舟艇による連絡で四日市を介して東海方面とも連絡できると主張した。この区間についても建設する方針となり、1884年(明治17年)5月25日に大垣までが全通した。
一方東部では、1880年(明治13年)2月から東京 - 高崎間の測量が開始され、工事着手の許可も受けた。しかし、実際の建設費の手配が行われず工事に着工できなかった。資材の調達および技術者の転用の問題があるため、早期に着工できる見込みがないのであれば工事許可を取り消して欲しいとの鉄道局長からの要請により、1880年(明治13年)11月9日に工事着手の許可が取り消された。これは当時の政府の財政事情から、東西からの同時着工が困難な情勢であったことを示している。
この頃、華族を中心に資産を出しあって民間の鉄道会社を設立する動きがあり、政府が東京 - 高崎間の鉄道着工を断念したことを好機として、日本で最初の民営鉄道である日本鉄道の創立を出願した。1881年(明治14年)に正式に許可を受けたが、当時鉄道の建設能力は民間には無かったことから、最初の着工区間となる東京 - 高崎間の鉄道は政府の鉄道局に工事が全面委託されることになった。東京の繁華な市街地を横断する工事は難航が予想されたことから、官設鉄道の新橋駅(後の汐留駅)を起点とすることを先送りし、土地を用意できた上野駅を起点として1882年(明治15年)9月に起工された。1884年(明治17年)5月1日に上野から高崎までの区間が全通した。