向宋混投降，张瓘兄弟于是自杀。事后宋混代替张瓘掌政，张玄靓为宋混所建议去凉王称号，改称凉州牧。建兴四十九年（361年），宋混去世，张玄靓顺从宋混遗言而让宋澄掌政，不过右司马张邕不满宋澄专政，同年即起兵攻灭宋澄，并诛杀宋氏一族。张玄靓随后又改让张邕与叔父张天钖共同掌政。可是，张邕自恃功勋大而行事骄纵，滥用刑法，更与马太后私通，树立党羽，很不得人心，张天钖就是再次发动政变，张邕兵败自杀，其党众皆被张天钖诛杀。张玄靓遂以张天钖一人掌政。十二月，张天钖让张玄靓改奉当时东晋的升平年号，称升平五年。晋廷则授张玄靓大都督