们和好，二人却结怨更深，表面上互相敬重，内心却对对方极度不满。后有人向贾充献谋，建议贾充先将任恺调离皇帝身边；贾充于是称赞任恺的才能，建议司马炎任他典选举事。司马炎任命任恺为吏部尚书，加奉车都尉。任恺在任内选举公平，尽心尽责，但少了见皇帝的机会。贾充又与荀顗和冯紞中伤任恺豪华奢侈，用皇帝的食物器皿，还派尚书右仆射、高阳王司马珪上奏司马炎，任恺被免官。后来查証时发现那些御用器皿其实都是任恺妻子齐长公主在曹魏时获赐的，任恺还是因被免官而多作毁谤，司马炎与他疏远。后获山涛举任河南尹，又因事而免官，后又任光禄勋。