张稷的儿子。张稷在剡县当县令时于嵊亭生下他，因此命名为张嵊，取字四山。他自小雅正有志向，能说出高雅的言论；父亲在青州被土着杀害，张嵊感叹家庭的灾祸，于是终身生活清苦，不拿武器，不听音乐。弟弟张淮说话语气不合人伦，张嵊低声哭泣教导。他在州内获举荐秀才，从秘书郎起家，累迁太子舍人、太子洗马、司徒左西掾、中书侍郎；外任永阳内史，回朝后担任中军将军宣城王萧大器的司马、散骑常侍，之后又外调为镇南将军湘东王萧绎的长史、寻阳太守。萧绎在空闲日子崇尚老庄，因此占卦，得到节卦，对张嵊说：「你以后要东入郡中，恐怕你活不到老啊。