乱恶行让武后暴怒不已，便下令将他流放到雷州，并恢复他的本姓贺兰。史书上说，他在流放到韶州途中，被人以马缰缢死（《旧唐书、新唐书皆记「自缢」），然而墓志却记载说他于咸亨二年八月六日在韶州的官舍去世，时年二十九。在朝中曾与他友好的人，后来大都被流放到岭南。敏之既死，武后便召回武元爽之子武承嗣继承武家。贺兰敏之去世后下葬于何处不得而知，可能只是就地埋葬，直到神龙革命后，才在景龙三年八月十八日，改葬于雍州咸阳县奉贤乡洪滨原，并追赠为秦州都督、太子少保，而敏之之妻杨氏（未知是不是杨思俭之女）则在开元年间封