912年（民国元年）3月，他任山东都督。同年12月，他调任顺天府府尹。1914年（民国3年）3月，他任甘肃都督兼民政长，5月任甘肃省巡按使；6月改称甘肃将军。1915年（民国4年）袁世凯称帝时，获封为一等子爵。1916年（民国5年）6月袁世凯死后，他投靠皖系。1916年（民国5年）7月，他改称甘肃督军，兼任甘肃省省长。1920年（民国9年）在直皖战争中皖系败北，张广建下野。寓居天津租界。抗日战争时张广建住在故郷合肥。日方要求张氏参加亲日政权，但他拒绝。他试图逃亡，但途中病逝。