西省闻喜县）人。裴侠之子。裴肃年轻时与梁毗交友。仕北周，初任给事中士，累进御正下大夫。担任行军长史随韦孝宽攻打淮南。580年，杨坚担任丞相，裴肃说「武帝平定北方，墓土未干，王朝就要变迁，这难道是天道吗」。杨坚听说后，很是不快，裴肃于是在家蛰居。585年，担任膳部侍郎。587年、转任朔州总管长史，再转贝州长史，有才能之名。仁寿年间，皇太子杨勇、蜀王杨秀、左仆射高颎全部倒台，裴肃上书请求「给杨勇、杨秀封一小国，让他们慢慢改过」。文帝杨坚对杨素说：「裴肃为我家担心，也是至诚」，召裴肃入朝。皇太子杨广听说，