随韦孝宽攻打淮南。580年，杨坚担任丞相，裴肃说「武帝平定北方，墓土未干，王朝就要变迁，这难道是天道吗」。杨坚听说后，很是不快，裴肃于是在家蛰居。585年，担任膳部侍郎。587年、转任朔州总管长史，再转贝州长史，有才能之名。仁寿年间，皇太子杨勇、蜀王杨秀、左仆射高颎全部倒台，裴肃上书请求「给杨勇、杨秀封一小国，让他们慢慢改过」。文帝杨坚对杨素说：「裴肃为我家担心，也是至诚」，召裴肃入朝。皇太子杨广听说，问张衡：「改变杨勇的待遇，他想要干什么」。张衡回答：「裴肃的意图，是要像吴太伯、汉东海王一样吧」。杨广