“白天在公堂上，怎么会有贼？”高居指着元修义说：“这个座位上的人，违反天子英明的诏示，财物多的得到官位，就好像在京城白日打劫，这不是大贼吗？”元修义脸色大变。高居边走边骂而出，之后还想要拦截皇帝的车辆论述元修义的罪状，左仆射萧宝夤开导高居，他才停止。正光五年（523年）五月，魏孝明帝在显阳殿引见丞相、尚书令、尚书仆射、侍中和黄门侍郎，询问说：“朕近来以北镇镇民作乱，派遣都督临淮王元彧去平乱。军队前往五原，前锋失利，两名将领战死，士兵挫败。而且武川镇背叛，再度沦陷于贼人。恐怕贼人阵势逐渐发展，将要逼近恒州