司马氏是高阳之子重黎的后裔,即夏官祝融。远古至商朝世代袭承夏官这一职位,到了周朝,夏官改称司马。周宣王时,先祖程伯休父平定徐方有功,恩赐司马为族姓。司马懿的十二世祖司马卬随项羽灭秦,受封殷王,建都河内。汉朝时成为河内郡,司马家族世代居住在此地。司马懿的高祖父司马钧为汉安帝时的征西将军,曾祖父司马量为豫章(今江西南昌)太守,祖父司马儁为颍川(今河南禹州)太守,父亲司马防为京兆尹。司马防育有八子,因字中都有一个“达”字,当时号称司马八达。晋武帝司马炎诏书说:“本诸生家,传礼来久。”司马懿是司马防的次子,少年时期就胸怀谋略。东汉末年,司马懿生于乱世,“常慨然有忧天下心”。南阳太守杨俊素以知人善任著称,司马懿二十岁前,杨俊曾见过他,说他绝非寻常之子。尚书崔琰与司马懿的兄长司马朗交好,曾对司马朗说:“你弟弟聪明懂事,做事果断,英姿不凡,不是你所能比得上的。”司马懿少年时和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害,胡昭知道后立刻涉险寻找,在崤山渑池之间找到周生一行,请求他们放过司马懿,周生开始不肯,但胡昭哭泣的诚意最终还是感动了他,救下司马懿。建安六年(201年),郡中推荐司马懿为上计掾[yuàn](佐理州郡上计事务的官吏)。当时曹操正任司空,听说司马懿的名声后,派人征辟他到府中任职。司马懿见东汉政权已经被曹氏控制,曹氏又是阉宦之后,不想屈节在曹操手下,便借口自己有风痹症,身体不能起居而不出仕曹氏。曹操不相信,派人夜间去刺探消息,司马懿躺在那里,一动不动,像真染上风痹一般。建安十三年(208年),曹操为丞相以后,使用强制手段征召司马懿为文学掾。曹操对使者说,他如果还和以前一样躺在床上不出仕,便将他逮捕。司马懿听说后非常畏惧,只得就职。曹操让他与太子往来游处,历任黄门侍郎、议郎、丞相东曹属、丞相主簿等职。而据《魏略》则记载,司马懿好学,曹洪自以为才疏,想让司马懿去帮助他,司马懿耻于和曹洪来往,假装拄拐不去。曹洪记恨司马懿,去跟曹操打小报告,曹操征召司马懿,司马懿立刻扔了拐杖去见曹操为其效命。曹操逐渐察觉司马懿“有雄豪志”,又发现他有“狼顾之相”,心里很忌讳。因此对曹丕说,司马懿不是甘为臣下的人,必会干预我们的家族之事。但因曹丕和司马懿关系很好,总是维护他,而得以无事,于是,司马懿勤于职守,废寝忘食,遂使曹操安心。