因东汉末年时局混乱而与母亲到荆州避乱，在南方居住了十多年，一直躬耕守节。司马芝的族弟司马朗已有名声，但中尉杨俊认为司马芝的能力更胜司马朗。建安十三年（208年），曹操攻下荆州，任命司马芝为菅县县长。当时北方才刚刚安定，吏民很多都不守法度。当时济南郡郡主簿刘节是当地大族，蓄养宾客，外为盗贼，内乱吏治。后来司马芝征召其宾客王同为兵，但在集合时刘节让王同躲起来，还命令督邮向菅县索求士兵，官县官属都无计可施，唯有要求以自己代王同从军；此时司马芝却向济南太守郝光上书告发刘节，郝光向来敬重司马芝，于是下令让刘节代王