抗日战争时期，在北平和天津沦陷后，大批难民沿着津浦铁路和平汉铁路南下。《吴宓日记》中记载了他在逃难过程中，曾搭乘火车从济南到徐州，而有些逃往南京、上海的难民则会继续搭乘火车南下。后来上海、南京接连沦陷后，难民又通过津浦铁路逃亡苏北地区，自1937年8月13日至9月30日，“……转道津浦路由浦口渡江至江北……等县者为45360人，男妇老弱并计299326人。”北迁的势头一直到10月仍有增无减。1937年，津浦铁路被日军侵占，蚌埠以北归华北交通管辖，以南归华中铁道管辖。台儿庄大战后，根据津浦铁路管理局的指示，徐州机务段段长程贵组织了两批迁移；过程中，机械设备、材料等装在棚车上，291名铁路员工及家属乘坐宿营车，随机车经陇海线由郑州南下。在南下途中，撤退的机车担当了军事运输和遣送难民任务。在黔桂铁路南丹段，迁移的队伍遭到日军追至围杀，36人牺牲。1947年5月，津浦铁路局在徐州云龙山北麓建津浦铁路抗战殉难员工纪念碑，列录殉难员工186人姓名。1939年4月1日全线勉强通车，同年8月1日全线直通。虽然日军控制了全线，但是中国军队依然多次对津浦铁路进行正面进攻和游击战，以阻止日军的行动。