之后，骁骑将军的职务更加重要，皇帝从宫中出行时负责羽饰旌旗，进入皇宫则和二卫共同值班，皇帝不坐正殿来到殿前时则要上殿左右侍奉。韦翙一直有名望，皇帝每遇大事总是命令他在左右侍奉，当时的人们以此为荣，给他起了一个称号叫“侠御将军”。韦翙不久外任为宣城郡太守。天嘉二年（561年），韦翙因参与平定王琳有功，封清源县侯，食邑二百户。太建年间，韦翙在任内去世，朝廷赠予明霍罗三州刺史。