订了《济案协定》后，日方于1929年交还胶济铁路。在接收铁路时，蒋中正与冯玉祥的军队又发生了冲突，后来更激化为多个军阀势力间的战争。由于20世纪初山东匪患严重，不少山东人为求生存，选择了闯关东，而其中一部分人则选择通过胶济铁路前往东北地区，尤其是在津浦铁路开通并连接胶济和京山铁路后。光是1927年每天就有3000多人从青岛前往东三省。 1937年抗日战争爆发后，11月中旬开始，国民革命军和胶济线工人将机车、车辆过轨南运至粤汉线，从25日起又破坏了部分线路和桥梁。1938年1月，日本侵略军第二次侵占胶济