文帝知道他内心不安，便派杨素去观察他，结果杨素却故意激怒杨勇，使杨勇说出抱怨的话，从此隋文帝更怀疑他了。独孤皇后与杨广等人都在观察他的一举一动，独孤皇后更是屡次诬陷杨勇，加上杨勇多有埋怨之言语，文帝终于废太子为庶人，改立杨广为太子。后杨广登基即处死杨勇。大业三年（公元607年），隋炀帝将包括云昭训所生三子在内的杨勇诸子全部杀害。