福来任第二十四师师长。第二次直奉战争时，吴佩孚任命杨清臣为讨逆军援军第四路司令。由于直系战败，第二十四师随吴佩孚撤至河南。1924年12月11日，段祺瑞下令取消第二十四师番号。第二十四师随吴佩孚撤到河南后，吴佩孚任命王为蔚为该师师长。在北伐战争中，张宗昌在鲁西南招兵买马，封以大小军职。杨清臣网罗了红枪会五百人及枪，于民国十六年（1927年）8月组建第二十三军，杨清臣被张宗昌任命为军长。1928年，杨清臣率第二十三军在安国军第二方面军（总司令张宗昌）下参加同国民革命军的战斗。1928年，杨清臣病逝。