，皇太子杨勇、蜀王杨秀、左仆射高颎全部倒台，裴肃上书请求「给杨勇、杨秀封一小国，让他们慢慢改过」。文帝杨坚对杨素说：「裴肃为我家担心，也是至诚」，召裴肃入朝。皇太子杨广听说，问张衡：「改变杨勇的待遇，他想要干什么」。张衡回答：「裴肃的意图，是要像吴太伯、汉东海王一样吧」。杨广不高兴。裴肃上京，在含章殿觐见文帝，文帝对裴肃说「我贵为天子，富有四海。后宫宠爱，不过数人。杨勇以下诸子，都是同母（独孤皇后）所生。不能以爱憎轻易改变废立」。表示不会再立杨勇了。604年，文帝驾崩，炀帝杨广即位，裴肃长期不得任用。后