恃宠而骄，为人轻佻，让武后很不高兴。咸亨二年（671年），杨氏过世，武后拿出一笔钱，命敏之塑一座大佛像来为杨氏祈福，没想到敏之竟将这笔钱中饱私囊。司卫少卿杨思俭之女被选为皇太子李弘之妃，眼看着婚期将至，敏之听说此女甚美，竟将她强姦，以致后来改选裴居道之女裴氏为太子妃。外祖母杨氏的丧期还没有过，敏之便已换下丧服，招妓奏乐享乐。另外，太平公主幼时，往游祖母荣国夫人宅第常有宫女随行，而敏之也曾强姦这些随行的侍女（因句读关系，有些史学家解读为强姦太平公主）。敏之的淫乱恶行让武后暴怒不已，便下令将他流放到雷州，并恢复