灵太后胡氏临朝称制，朝廷纲纪混乱，身负重任，不能匡正，与郑俨结党。外表稳重谨慎，内心猜疑，睚眦必报，为有识者鄙夷。他的妻子于氏和广阳王元渊通奸。武泰元年（528年）四月，大都督尔朱荣入洛阳，魏孝庄帝即位，元徽任司州牧。同年（永安元年）九月，以司州牧兼司徒。永安二年（529年）五月，元颢入洛阳，元徽跟随孝庄帝入河内。七月，孝庄帝回到洛阳，元徽任侍中、大司马、太尉公。十一月，晋升太保、司徒公。永安三年（530年），元徽和李彧想要专权，害怕尔朱荣危害自己，天天都向着魏孝庄帝阐述尔朱荣的劣行，劝说魏孝庄帝除