武泰元年（528年）四月，大都督尔朱荣入洛阳，魏孝庄帝即位，元徽任司州牧。同年（永安元年）九月，以司州牧兼司徒。永安二年（529年）五月，元颢入洛阳，元徽跟随孝庄帝入河内。七月，孝庄帝回到洛阳，元徽任侍中、大司马、太尉公。十一月，晋升太保、司徒公。永安三年（530年），元徽和李彧想要专权，害怕尔朱荣危害自己，天天都向着魏孝庄帝阐述尔朱荣的劣行，劝说魏孝庄帝除掉尔朱荣。之后尔朱荣前往洛阳，说要看女儿尔朱皇后分娩，魏孝庄帝元子攸害怕河阴之变的旧事，担心自身难保，与元徽、侍中杨侃、李彧、 尚书右仆射元罗等人