崇禧收编，张宗昌只身逃往日本占领下的大连，以求日本的保护。此后，张宗昌图谋在山东东山再起。1929年，在日本支援下，张宗昌率鲁东余部在烟台登陆，失败后逃往日本。后来，1932年，张宗昌标榜「抗日」回到山东省，企图再起。但是，当时的山东省政府主席韩复榘对其不放心。同年9月3日，被张宗昌杀害的国民军军长郑金声的侄子郑继成根据韩复榘的指示，在济南站刺杀了张宗昌。郑金声当年正是在济南被张宗昌杀害的。张宗昌享年52岁（满51岁）。
诗词.风传张宗昌曾经