又因为李祖娥的原因，所以与北齐皇室多次联姻。李元操兄弟都以文章博学并通过自己的努力而显达，以做外戚家族为耻辱。当时黄门侍郎高干和亲近显要执掌朝政，请求与李元操联姻，李元操拒绝了。高干和因此与李元操不和，暗中陷害他，李元操被贬为太尉府外兵参军，后来又担任中书舍人。北齐武平年间，李元操外任博陵郡太守，失意不得志，很快出任司州别驾，后来又再度兼任散骑常侍，作为出使北周的副使。李元操返回后出任给事黄门侍郎，待诏文林馆，假仪同三司。武平五年，李元操因为词翰策令很美，被敕令与中书侍郎李若、李德林另外掌管宣布传达诏令