于流俗，经常受到猜忌。天保二年（551年），元晖业跟随齐文宣帝高洋前往晋阳，在宫外骂元韶说：“你还比不上一个老妇人，背着国玺给人，为什么不打碎它？我说出这种话，就知道要死了，但是你又能活到什么时候！”齐文宣帝听说后将元晖业杀死，同时斩首的还有临淮公元孝友。元孝友在临刑时惊惶失措，元晖业神色自若。元晖业死后，被凿冰沉尸在汾河中。