刻，皇帝经常与他谈笑，当时人认为韦渠牟不正经，无士君子器度，不能以正道引导帝王。陆贽自贞元十年（794年）被罢相后，德宗开始勤于政务，不再委托宰相处理政事。各地官员、御史，皆由皇帝自己选择任命。但他深居宫庭，所亲信的人如裴延龄、李齐运、王纯、李实、韦执谊及韦渠牟等人，都权倾相府。裴延龄、李实为奸诈小人，王纯则是无能之辈，韦渠牟素来被人轻视，于是他广召门客，以赚取名望，茅山处士崔芊、山人郑随被他举荐为官，冯伉自醴泉令被他荐为给事中、皇太子侍读。一年后，韦渠牟迁任太府卿，赐金紫，十六年（800年）十一月