1818年5月5日午前2時頃、プロイセン王国ニーダーライン大公国県に属するモーゼル川河畔の町トリーアのブリュッカーガッセ（Brückergasse）664番地に生まれる。父はユダヤ教ラビだった弁護士ハインリヒ・マルクス。母はオランダ出身のユダヤ教徒ヘンリエッテ(Henriette)（旧姓プレスボルク(Presburg)）。マルクスは夫妻の第3子（次男）であり、兄にモーリッツ・ダーフィット(Mauritz David)、姉にゾフィー(Sophia)がいたが、兄は夭折したため、マルクスが実質的な長男だった。また後に妹が4人、弟が2人生まれているが、弟2人は夭折・若死にしている。マルクスが生まれたトリーアは古代から続く歴史ある都市であり、長きにわたってトリーア大司教領の首都だったが、フランス革命戦争・ナポレオン戦争中には他のライン地方ともどもフランスに支配され、自由主義思想の影響下に置かれた。ナポレオン敗退後、同地はウィーン会議の決議に基づき封建主義的なプロイセン王国の領土となったが、プロイセン政府は統治が根付くまではライン地方に対して慎重に統治に臨み、ナポレオン法典の存続も認めた。そのため自由主義・資本主義・カトリックの気風は残された。マルクス家は代々ユダヤ教のラビであり、1723年以降にはトリーアのラビ職を世襲していた。マルクスの祖父マイヤー・ハレヴィ・マルクスや伯父ザムエル・マルクスもその地位にあった。父ハインリヒも元はユダヤ教徒でユダヤ名をヒルシェルといったが、彼はヴォルテールやディドロの影響を受けた自由主義者であり、1812年からはフリーメーソンの会員にもなっている。そのため宗教にこだわりを持たず、トリーアがプロイセン領になったことでユダヤ教徒が公職から排除されるようになったことを懸念し、1816年秋（1817年春とも）にプロイセン国教であるプロテスタントに改宗して「ハインリヒ」の洗礼名を受けた。母方のプレスボルク家は数世紀前に中欧からオランダへ移民したユダヤ人家系であり、やはり代々ラビを務めていた。母自身もオランダに生まれ育ったので、ドイツ語の発音や書くことに不慣れだったという。彼女は夫が改宗した際には改宗せず、マルクスら生まれてきた子供たちもユダヤ教会に籍を入れさせた。叔父は欧州最大の電機メーカーであるフィリップスの創業者の祖父リオン・フィリップスでマルクスの財政援助者でもあった。
神爵2年（前60年）、以前から握衍朐鞮単于と不和であった日逐王の先賢撣が漢に帰順したので、握衍朐鞮単于は新たに従兄の薄胥堂を日逐王に任じた。神爵4年（前58年）冬、呼韓邪単于から命を狙われていることを覚った左大且渠の都隆奇と右賢王（握衍朐鞮単于の弟）は、日逐王の薄胥堂を立てて屠耆単于とし、数万の兵を発して東の呼韓邪単于を襲撃した。呼韓邪単于の兵は敗走し、屠耆単于が政権を担うこととなった。屠耆単于は長子の都塗吾西を左谷蠡王とし、少子の姑瞀楼頭を右谷蠡王とし、単于庭（首都、本拠地）に留め住まわせた。五鳳元年（前57年）秋、屠耆単于は元日逐王の先賢撣の兄である右薁鞬王と烏藉都尉にそれぞれに2万騎をつけて東方に駐屯させ、呼韓邪単于に備えた。この時、西方の呼掲王の来は唯犁当戸と共謀して、屠耆単于に「右賢王が自立して烏藉単于となろうとしている」と嘘の報告をした。そこで屠耆単于は右賢王父子を殺したが、後で冤罪であったことを知り、今度は唯犁当戸を殺した。呼掲王はこれを恐れ、遂に叛いて自ら立ち、呼掲単于となった。右薁鞬王はこれを聞くなり自立して車犁単于となり、烏藉都尉も自立して烏藉単于となった。ここにおいて五単于が並立することとなる。屠耆単于は自ら兵を率いて東の車犁単于を撃ち、都隆奇に烏藉単于を撃たせた。烏藉単于と車犁単于は敗北して西北へ遁走し、呼掲単于の兵と合流して4万となる。烏藉単于と呼掲単于は単于号を棄てて、共に車犁単于を補佐し、屠耆単于に対抗した。屠耆単于はこれを聞くなり、左大将と都尉に4万騎をつけて東方に駐屯させ、呼韓邪単于に備えるとともに、自らは4万騎を率いて西の車犁単于を撃った。車犁単于は敗北して西北へ遁走し、屠耆単于は西南に引いて闟敦地に留まった。五鳳2年（前56年）、呼韓邪単于は弟の右谷蠡王らを遣わし、西の屠耆単于の屯兵を襲い、1万余人を殺略した。屠耆単于はこれを聞くと、自ら6万騎を率いて呼韓邪単于を撃った。屠耆単于は千里進み、嗕姑地に至らない所で呼韓邪単于の兵約4万と遭遇して合戦した。しかし、屠耆単于の兵が敗北し、屠耆単于は自殺してしまう。都隆奇は屠耆単于の末子である右谷蠡王の姑瞀楼頭とともに漢へ帰順し、車犁単于は東の呼韓邪単于に降った。