张玄靓于和平元年（354年）获张祚封为凉武侯。和平二年（355年），张祚被杀，张玄靓被宋混、张琚推为大将军、凉州牧、护羌校尉、西平公，恢复年号为建兴四十三年。不久，河州刺史张瓘返都城姑臧（今甘肃武威），张玄靓再被推为凉王，政事决于张瓘。次年（356年）前秦派使者阎负、梁殊前来，要劝说前凉臣服于前秦，张瓘恐惧，于是劝导张玄靓向前秦称藩，而前秦亦以张玄靓所称的官爵授命。张玄靓继位后，前凉国内先后有李俨、衞綝和马基等人反叛，张瓘击败了衞綝并讨平马基。其时张瓘、张琚兄弟赏罚都依从自己爱恶，无视纲纪，又不听谏言