干什么」。张衡回答：「裴肃的意图，是要像吴太伯、汉东海王一样吧」。杨广不高兴。裴肃上京，在含章殿觐见文帝，文帝对裴肃说「我贵为天子，富有四海。后宫宠爱，不过数人。杨勇以下诸子，都是同母（独孤皇后）所生。不能以爱憎轻易改变废立」。表示不会再立杨勇了。604年，文帝驾崩，炀帝杨广即位，裴肃长期不得任用。后来岭南地方治安恶化，任用裴肃为永平郡丞，很得民心。一年后，去世，享年六十二岁。南方少数民族追慕裴肃，在鄣江之浦为他建庙。其子裴尚贤。