然而，继位仅仅55天的李显，便因提拔韦皇后的父亲韦玄贞而惹怒了辅政大臣裴炎，导致最终被废为庐陵王，并先后被软禁于均州、房州十四年