年少家贫，宗珍之担任竟陵太守时兴世就去做他的门客。因当时竟陵郡置军府，兴世原本获补参军督护，但他不去做。后来他随王玄谟讨伐蛮族，作战勇勐，每战都有俘获，玄谟的部曲将领全部都比不上他，故此玄谟回建康后就向宋文帝称述兴世。元嘉二十八年（451年），武陵王刘骏出任江州刺史，以张兴世为其南中郎参军督护。元嘉三十年（453年），太子刘劭弒父篡位，刘骏兴兵讨伐，兴世在前锋统帅柳元景带领下东下建康。战后，刘骏登位，即宋孝武帝，转兴世为员外将军，领从队。孝建元年（454年），荆州刺史、南郡王刘义宣及江州刺史臧质起兵反对