桃符长时间随从效劳，就将他释为平民。桃符家中有头母黄牛，他宰了牛献给韦衮，趁机向韦衮请求赐姓。韦衮说：“你只可以跟着我姓韦。”桃符叩头说：“不敢与您同姓。”韦衮说：“你尽管听我的，这里面有很深的含义。”所以韦桃符的家族在唐朝被称为“黄犊子韦”，唐中宗的韦皇后就是韦桃符的后裔。韦衮不同意韦桃符用别的姓，可能是考虑到时间久了以后，韦桃符的子孙可能会与韦氏通婚，这就是韦衮的想法。