居道之女裴氏为太子妃。外祖母杨氏的丧期还没有过，敏之便已换下丧服，招妓奏乐享乐。另外，太平公主幼时，往游祖母荣国夫人宅第常有宫女随行，而敏之也曾强姦这些随行的侍女（因句读关系，有些史学家解读为强姦太平公主）。敏之的淫乱恶行让武后暴怒不已，便下令将他流放到雷州，并恢复他的本姓贺兰。史书上说，他在流放到韶州途中，被人以马缰缢死（《旧唐书、新唐书皆记「自缢」），然而墓志却记载说他于咸亨二年八月六日在韶州的官舍去世，时年二十九。在朝中曾与他友好的人，后来大都被流放到岭南。敏之既死，武后便召回武元爽之子武