在上海工人第三次武装起义中被挫败。张宗昌率残部逃回山东省。6月，张宗昌派员来谈归顺国民革命军。1928年4月，北伐再度开始，张宗昌遭到国民革命军攻击，虽然受到日军支援，但也无济于事。4月底，张宗昌率部逃出济南，撤往德州、天津，来到冀东。6月4日，皇姑屯事件发生，张作霖遇难，由其子张学良继位，张宗昌希望从山东省逃回山海关外（东三省），但未得到张学良的许可。9月，张宗昌部遭到国民党白崇禧追击，全军覆灭，残部5万人被白崇禧收编，张宗昌只身逃往日本占领下的大连，以求日本的保护。此后，张宗昌图谋在山东东山再起