918年被护理山东督军张树元排挤出山东。1918年（民国7年）2月，他任湘赣检阅使，出征湖南省，后败退。1919年1月任参谋本部总长。1920年直皖战争前，他奉大总统徐世昌之命与直系的姜桂题进行调停，但未成功。皖系败北后，他改投直系军阀，1924年任曹锟北洋政府参谋总长兼前敌总执法处处长。第二次直奉战争直系战败后，他下野在天津闲居。1934年10月他在天津病逝。 1922年，他曾捐资重修家乡皋上村静觉寺，和建村小学一处，名为“张氏小学”，计4栋28间。