骑曹参军，八年（792年），迁任四门博士。贞元十二年（796年）四月十九日，德宗生日，在麟德殿召集给事中徐岱、兵部郎中赵需、礼部郎中许孟容与韦渠牟及道士万参成、沙门谭延等十二人，讲论儒、道、释三教。韦渠牟高谈阔论，德宗认为他很有才华，数日后任命他为秘书郎，韦渠牟又献诗七百字，十几日后，立即升迁右补阙、内供奉。德宗多次在延英殿与宰相奏对时，让宦官召韦渠牟一起参议，年末时又升为左谏议大夫。以往延英奏对漏刻时间常为二三刻，到韦渠牟奏事则拖到五六刻，皇帝经常与他谈笑，当时人认为韦渠牟不正经，无士君子器度，不能以