帝即位后，裴矩继续被重用，与苏威、宇文述、裴蕴、虞世基等掌握朝政，合称“五贵”。裴矩一生中最重要的业绩为炀帝经营西域。大业元年（605年）至九年（613年）间，他至少四次奔波于甘州、凉州（今甘肃武威）、沙州（今甘肃敦煌）等地，大力开发商业，引胡商前往长安、洛阳，以首都贸易取代边境贸易。与此同时，裴矩收集了西域各国山川地理、人物风俗等资料，绘画各国贵族庶人的服饰仪表，制成《西域图记》三卷，并绘造地图，纪录各地险要，献给炀帝。裴矩引高昌王麴伯雅、伊吾吐屯设等入朝，并打击西域贸易的竞争者吐谷浑。大业十四年