作战失败，裴忌被北朝囚禁，赐爵江夏郡公。裴蕴继续在陈为官，有才干，历任直阁将军、兴宁县令。裴蕴因父在北朝，送密信给隋文帝，愿为内应。隋灭陈，文帝在投降的南朝人士中，称赞裴蕴自动归顺，授仪同三司、许开府。历任洋州、直州、棣州刺史，在地方有能干的名声。隋炀帝继位听闻裴蕴的名声，召他任太常少卿。裴蕴上奏炀帝，建议召集北周、北齐、梁、陈的乐士子弟和民间有歌舞音曲才能者归属太常，宫中乐人从此增加至3万人以上。炀帝大喜，任命他为民部侍郎。当时、天下虽然统一，但户籍遗漏严重，民众中很多隐瞒年龄，来取得租税、赋役的免除