，号尘外人。德宗兴元元年（784年），韩滉出镇浙西，奏授韦渠牟为试秘书郎。贞元二年（786年），韦渠牟起家拜校书郎。五年（789年），转左武卫骑曹参军，八年（792年），迁任四门博士。贞元十二年（796年）四月十九日，德宗生日，在麟德殿召集给事中徐岱、兵部郎中赵需、礼部郎中许孟容与韦渠牟及道士万参成、沙门谭延等十二人，讲论儒、道、释三教。韦渠牟高谈阔论，德宗认为他很有才华，数日后任命他为秘书郎，韦渠牟又献诗七百字，十几日后，立即升迁右补阙、内供奉。德宗多次在延英殿与宰相奏对时，让宦官召韦渠牟一起