外戚家族为耻辱。当时黄门侍郎高干和亲近显要执掌朝政，请求与李元操联姻，李元操拒绝了。高干和因此与李元操不和，暗中陷害他，李元操被贬为太尉府外兵参军，后来又担任中书舍人。北齐武平年间，李元操外任博陵郡太守，失意不得志，很快出任司州别驾，后来又再度兼任散骑常侍，作为出使北周的副使。李元操返回后出任给事黄门侍郎，待诏文林馆，假仪同三司。武平五年，李元操因为词翰策令很美，被敕令与中书侍郎李若、李德林另外掌管宣布传达诏令敕命。周武帝宇文邕平定北齐，征召北齐中书监阳休之、吏部尚书袁聿脩、卫尉卿李祖钦、度支尚书元脩伯