没想到敏之竟将这笔钱中饱私囊。司卫少卿杨思俭之女被选为皇太子李弘之妃，眼看着婚期将至，敏之听说此女甚美，竟将她强姦，以致后来改选裴居道之女裴氏为太子妃。外祖母杨氏的丧期还没有过，敏之便已换下丧服，招妓奏乐享乐。另外，太平公主幼时，往游祖母荣国夫人宅第常有宫女随行，而敏之也曾强姦这些随行的侍女（因句读关系，有些史学家解读为强姦太平公主）。敏之的淫乱恶行让武后暴怒不已，便下令将他流放到雷州，并恢复他的本姓贺兰。史书上说，他在流放到韶州途中，被人以马缰缢死（《旧唐书、新唐书皆记「自缢」），然而墓志却记载说他于咸亨