文帝，愿为内应。隋灭陈，文帝在投降的南朝人士中，称赞裴蕴自动归顺，授仪同三司、许开府。历任洋州、直州、棣州刺史，在地方有能干的名声。隋炀帝继位听闻裴蕴的名声，召他任太常少卿。裴蕴上奏炀帝，建议召集北周、北齐、梁、陈的乐士子弟和民间有歌舞音曲才能者归属太常，宫中乐人从此增加至3万人以上。炀帝大喜，任命他为民部侍郎。当时、天下虽然统一，但户籍遗漏严重，民众中很多隐瞒年龄，来取得租税、赋役的免除。609年，裴蕴上奏请将虚造户籍的负连帯责任，奨励密告，于是全国成人男子的户数大幅上升。炀帝赞赏裴蕴，更加亲任。裴蕴