发起“国事会议”，主张各省军阀解除兵权，全国议和，但未获响应。1922年以后，在唐绍仪、王宠惠、汪大燮三届内阁中连任陆军总长。1923年1月初，经黎元洪提名，国会通过，张任国务总理兼陆军总长，张主张和平统一，并建议迎孙中山入京协商南北统一，与曹锟、吴佩孚武力统一之政见发生分歧。1923年6月直系倒黎，黎元洪离京，张也被迫辞职下野，隐居天津英租界。1928年3月21日，张绍曾在天津南市高等妓院彩凤班被暗杀。传张作霖因嫉恨他与冯玉祥和北伐军往来，派刺客杀害。