阴险刻薄，为魏孝武帝元修所信任，外任青州刺史，又加骠骑大将军、开府仪同三司。魏孝武帝与丞相高欢有矛盾后，元贵平与齐州刺史侯渊、兖州刺史樊子鹄暗中秘密通信往来，互相串联勾结，观察时世的变化。魏孝武帝西入关中后，东魏朝廷任命侯渊代理青州刺史，元贵平自以为是斛斯椿的党羽，也不卸任交接。侯渊进兵袭击高阳郡，攻克之后将部曲和家小安置在城中。元贵平派遣自己的世子率兵攻打高阳城，侯渊亲自率领骑兵趁夜赶到青州，见到城中百姓送粮的队伍首尾相接，侯渊欺骗送粮的人说：“行台军队已至，杀戮殆尽，我是东莱王世子的下人，如今已经逃跑回