漢代は茲氏県の管轄地であった。三国時代には魏により現在の中陽県に設置されていた中陽県が市域に移転、西晋になると廃止されている。南北朝時代になると北魏により永安県が現在の晋中市霊石県東部に設置され、627年（貞観元年）に孝義県と改称された際に現在の市域に遷されている。1958年には介休県に編入されたが、1961年に再設置、1992年には県級市に昇格し孝義市と改編され現在に至る。
チンギス・カンの生まれたモンゴル部はウイグル可汗国の解体後、バイカル湖の方面から南下してきてモンゴル高原の北東部に広がり、11世紀には君主（カン、ハン）を頂く有力な集団に成長した遊牧民であった。チンギス・カンの生涯を描いたモンゴルの伝説的な歴史書『元朝秘史』によれば、その遠祖は天の命令を受けてバイカル湖のほとりに降り立ったボルテ・チノ（「蒼き狼」の意）とその妻なるコアイ・マラル（「青白き鹿」の意）であるとされる。ボルテ・チノの11代後の子孫ドブン・メルゲンは早くに亡くなるが、その未亡人アラン・ゴアは天から使わされた神人の光を受けて、夫を持たないまま3人の息子を儲けた。チンギス・カンの所属するボルジギン氏の祖となるボドンチャルはその末子である。ボドンチャルの子孫は繁栄し、様々な氏族を分立させ、ウリヤンカイ、ジャライルといった異族を服属させて大きな勢力となった。やがて、ボドンチャルから7代目とされるカブルが初めてモンゴル諸部族を統一して「あまねきモンゴル」のカン（ハン、ハーン）の称号を名乗り、カブル・カンの子孫はキヤト氏を称するモンゴル部の有力家系となった。チンギス・カンの父イェスゲイ・バアトルは、カブル・カンの孫で第3代カンとなったクトラ・カンの甥である。チンギス・カンはそのイェスゲイの長男として生まれ、テムジン（ᠲᠡᠮᠦᠵᠢᠨ、Temüǰin、 鉄木仁もしくは鉄木真）という名を与えられた。『元朝秘史』、『集史』などが一致して伝えていることには、チンギスが誕生した直前にイェスゲイはタタル部族の首長であるテムジン・ウゲとコリ・ブカと戦い、このテムジン・ウゲを捕縛して連行して来たという。『元朝秘史』などによると、この時、コンギラト氏出身でイェスゲイの妻ホエルンが産気づきオノン川のデリウン岳でイェスゲイの軍が下馬した時に出産したといい、このためイェスゲイは、その戦勝を祝して出生したばかりの初の長男の名を「テムジン」と名付けたと伝えられる。テムジンの生年については、当時のモンゴルに歴史を記録する手段が知られていなかったため、同時代の歴史書でもそれぞれ1155年・1162年・1167年と諸説が述べられており、はっきりとはわからない。父イェスゲイは、カブル・カンの次男バルタン・バアトルの三男という出自でキヤト氏の中では傍系に属したが、バアトル（勇者）の称号を持つ有力者で、モンゴル高原中央部の有力部族連合ケレイトの王トグリル（またはトオリル。のちのオン・カン）とも同盟関係を結び、ケレイト王国の内紛で王位を追われたこのトグリルの復位に協力したことで、一代で急速に勢力を拡大した。また、『元朝秘史』によるとテムジンが9歳の時に、父イェスゲイに伴われて母方の一族であるコンギラト部族のオルクヌウト氏族に嫁探しに出かけた逸話が載せられている。この時、途中で立ち寄ったコンギラト部族の本家筋の人物だったらしいデイ・セチェンの家でその娘ボルテと出逢い、イェスゲイとデイ・セチェンはテムジンとボルテ両人に許嫁の関係を結んだと伝えられる。イェスゲイはその後のテムジンの養育をデイ・セチェン一家に頼んで自家に戻ったという。しかし、程なくしてイェスゲイが急死し、その勢力は一挙に瓦解してしまう。テムジンは、父の死の知らせを受けて直ちに家族のもとに戻された。幼い子供たちを抱えてイェスゲイ家の管理権を握った母ホエルンは、配下の遊牧民がほとんど去った苦しい状況の中で子供たちをよく育てた。テムジンが成人してくると、テムジンの族曾祖父にあたるモンゴル部のボルジギン氏の第2代のカンであるアンバガイ・カンの系統でキヤト氏のライバルだったタイチウト氏の首長タルグタイ・キリルトク（テムジンの族父でアンバガイ・カンの孫）らは、イェスゲイの子が成長して脅威となることを怖れ、テムジンを捕らえて自分たちの幕営に抑留した。テムジンはこの絶体絶命の危機を、タイチウトに隷属民として仕えていたスルドス氏の牧民ソルカン・シラの助けなどによりようやく脱したという。成人すると、今度はモンゴル部の宿敵メルキト部族連合の王トクトア・ベキ率いる軍勢に幕営を襲われ、夫人ボルテをメルキトに略奪されるなど辛酸を舐めた。このとき、ボルテを奪還するのに尽力してくれたのが、父の同盟者でもあったケレイトのトグリル・カンや、モンゴル部内のテムジンの盟友（アンダ）で、おなじモンゴル部であるジャジラト氏の首長ジャムカといった同盟者たちだった（モンゴル語: Буур хээрийн тулалдаан、1180年頃）。『元朝秘史』は、このような境遇の中、ある事件により偶然テムジンと友人になったアルラト氏のボオルチュ、先祖代々テムジンの家に仕えていたウリヤンカイ氏のジェルメ、ソルカン・シラの息子チラウン、チンベ兄弟らは後のモンゴル帝国の有力な将軍となる遊牧騎士たちが、テムジンの僚友（ノコル）として彼のもとに仕えるようになった事情を語っている。後にジェルメはジェベ、クビライ、スブタイの3人と共に「四狗」と呼ばれる重臣となる。「四狗」は戦で必ず先頭に立ち、敵を震え上がらせる役目を持つ。ボオルチュやチラウンも後にボロクル、ムカリと共に「四駿」と呼ばれる重臣となる。「四駿」は戦ではチンギス・カンの傍から片時も離れず護衛する役目を持つ。