少诛众，以弱诛强。」可见司马之职位在将军之下。汉武帝定制，司马，主武也，掌管军事之职。大将军所属军队分为五部，各置司马一人领之。魏晋南北朝，诸将军开府，府置司马一人，地位仅次于将军，掌本府军事，相当于后世的参谋长。司马昭即以山涛为行军司马，胡三省注称：“行军司马之号始此。”。宋制，司马铜印墨绶，绛朝服，武冠。至隋时废州府之任，不置司马，改置治中。
地方官名.唐朝，州设司马，作为刺史的佐官，实际无职掌，多用于处置贬官；着名诗人白居易即曾因得罪权贵，被贬为江州（今江西省