5月2日蒋总司令抵达济南并要求日军撤退，日军应允并撤出工事。蒋严戒北伐军勿予还击，并严令入济南部队，于5月3日夜退出城郊，派员与日军师团长福田商约束部队，未得要领。蒋同时命令济南驻军一律撤出，免生冲突。5月4日、5月5日，日军仍继续放枪发炮，并引张宗昌以飞机炸北伐军司令部。蒋为完成北伐，忍辱负重，勿予计较，限令北伐军星夜渡河，仅饬留李延年步兵团驻守。不料5月3日上午贺耀祖部队与日军双方发生冲突。5月6日，蒋移节党家庄，继续提兵北进，并吁召汪精卫、胡汉民回国，又切告奉系早日觉悟，日本阻碍北伐之阴谋，于是粉碎。