在青州被土着杀害，张嵊感叹家庭的灾祸，于是终身生活清苦，不拿武器，不听音乐。弟弟张淮说话语气不合人伦，张嵊低声哭泣教导。他在州内获举荐秀才，从秘书郎起家，累迁太子舍人、太子洗马、司徒左西掾、中书侍郎；外任永阳内史，回朝后担任中军将军宣城王萧大器的司马、散骑常侍，之后又外调为镇南将军湘东王萧绎的长史、寻阳太守。萧绎在空闲日子崇尚老庄，因此占卦，得到节卦，对张嵊说：「你以后要东入郡中，恐怕你活不到老啊。」他回答：「富贵得到满足了。」当时伏挺在坐，说：「君王可畏人啊。」中大同元年（546年），征召任职太府卿，很快