少年时期就胸怀谋略，当时正是东汉末年乱世，司马懿「常慨然有忧天下心」。素以知人善任着称的南阳太守杨俊曾见过少年司马懿，他说司马懿绝非寻常之子。尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：「你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。」建安六年（201年），郡中推举他为计掾。当时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。建安十三年（2