代々武門の家柄で、祖父は経略府(辺境軍)に仕える武官であったが、同僚の嫉みにあって次第に没落、薛永の代には各地を流れ歩き、武芸を見世物にする膏薬売りにまで身を落としていた。