元徽上书固辞。于是还都，加号辅国将军，出任度支尚书，进镇军将军。当时，六镇之乱，北魏官军陷于失败苦境，元徽献上绢二千匹、粟一万石作为军费，孝明帝没有接纳。元徽为灵太后宠信，以本官兼吏部尚书，加侍中、征东将军，转任卫将军、右光禄大夫。后任尚书左仆射，转任车骑将军、仪同三司，固辞不受，解侍中之位后受诏。任尚书令。加开府、西道行台，没有赴任。灵太后胡氏临朝称制，朝廷纲纪混乱，身负重任，不能匡正，与郑俨结党。外表稳重谨慎，内心猜疑，睚眦必报，为有识者鄙夷。他的妻子于氏和广阳王元渊通奸。武泰元年（528年）四