6月12日），改任太傅，领大司马。义恭虽为太傅，但孝武帝不想拜太傅，于是暗示相关部门上奏君主无需对臣下作拜礼的依据，只在立太子后下令东宫文案都要先让义恭过目。孝建元年（454年），刘义宣等人起兵失败，义恭见孝武帝有意削弱宗室，故请省录尚书一职，获准。孝建二年春，义恭获进督东扬州及南兖州；十月壬午（455年11月19日），又领扬州刺史，义恭坚决辞让入朝不趋、赞拜不名、剑履上殿的特殊礼待，又解持节都督及侍中。
废立之谋.孝建三年（456年）七月，义恭卸任扬州刺史，让予孝武帝宠爱西阳