因为卫臻父亲卫兹昔日与曹操征战而死，获赐爵关内侯，转任户曹掾。220年，曹丕继任魏王后被任命为散骑常侍；称帝后又被封为安国亭侯。后来迁任尚书，转侍中吏部尚书。黄初五年（224年）曹丕出巡到广陵，卫臻以行中领军身份跟从。当时征东大将军曹休从降兵得知孙权在濡须口的情报，向曹丕报告，但卫臻认为孙权以长江为天险，未敢越江进攻，推测这只不过是假消息用以威吓魏国军民。后来经查証，果然是东吴发布的假消息。曹叡继位后，封康乡侯（属颍川郡阳城县）。后来转任尚书右仆射，掌选举事，亦加侍中。太和二年（228年），