于将军之家。长大后，有勇力，善于水战。湘东王萧绎担任荆州刺史，徐世谱率乡人为萧绎僚佐。侯景之乱，徐世谱参加征讨叛乱，进员外散骑常侍。率水军在陆法和属下，在赤亭湖与侯景作战。制造楼船、拍舰、火舫、水车扩大军势。乘坐大舰站在先头，撃破侯景大军，擒侯景部将任约。在王僧辩属下攻打郢州，侯景部将宋子仙归降。以功被任命为使持节、信武将军、信州刺史，封鱼复县侯。在姑孰击破侯景部将侯子鑑。侯景之乱被平定，以功绩任通直散骑常侍、衡州刺史，兼河东郡太守。554年（承圣三年），西魏军攻打江陵，徐世谱屯驻马头岸，据守龙洲。