安伽陀自称通晓图谶之术，对杨广称言：“当有李氏应为天子。”又有谣言称“桃李子，洪水绕杨山。”杨广怀疑李敏的小名洪儿的“洪”字应谶，并当面讲给李敏听，希望他能领会自杀。李敏心中不安，与任右骁卫大将军的族兄郕国公李浑、李浑侄子李善衡私下商议。当时李浑与宠臣宇文述有怨，宇文述也乘此诬构李浑掌禁军，有谋反之心。杨广立即令宇文述率领宿卫禁军千余人包围李氏兄弟府第，将其家族下狱审问。宇文述诱骗李敏妻子宇文氏写下口供，于是李浑、李敏等宗族三十二人全部被杀，其余老弱被流放岭南。而宇文氏在数月后亦被杨广赐于鸩酒而终。唐朝