武则天之女太平公主对薛怀义很瞧不起，认为他出身卑微，一身市井粗俗之气，不足以侍奉女皇