字，十几日后，立即升迁右补阙、内供奉。德宗多次在延英殿与宰相奏对时，让宦官召韦渠牟一起参议，年末时又升为左谏议大夫。以往延英奏对漏刻时间常为二三刻，到韦渠牟奏事则拖到五六刻，皇帝经常与他谈笑，当时人认为韦渠牟不正经，无士君子器度，不能以正道引导帝王。陆贽自贞元十年（794年）被罢相后，德宗开始勤于政务，不再委托宰相处理政事。各地官员、御史，皆由皇帝自己选择任命。但他深居宫庭，所亲信的人如裴延龄、李齐运、王纯、李实、韦执谊及韦渠牟等人，都权倾相府。裴延龄、李实为奸诈小人，王纯则是无能之辈，韦渠牟素来被人轻