当时萧铣、林士弘、曹武彻等势力相继来攻击，李袭志固守始安郡。后宇文化及弑杀隋炀帝，他召集士庶举哀三日。有郡人劝李袭志在岭南称王，学习尉佗。李袭志厉声呵斥。固守二年无援，始安郡被萧铣攻陷，萧铣任命他为工部尚书、检校桂州总管。武德初年（618年），唐高祖李渊派李袭志之子李玄嗣带书信前往桂州招慰他归附唐朝，李袭志于是秘密游说岭南首领、原隋朝永平郡守李光度与他一起归唐，武德四年（621年），唐朝平定萧铣后，江南道大使、赵郡王李孝恭授李袭志为桂州总管。武德五年李袭志入朝，唐高祖授他为柱国，封始安郡公，拜江州都督。