ムルハルト市の始まりはローマ時代、161年にネッカー川の谷から、東のまだ未開であったシュヴァーベンの森の高地にローマ帝国の国境が移されたことに由来する。ローマの城砦建設は、ロルヒ、ヴェルツハイム、マインハルト、エーリンゲン、そしてムルハルトなど、多くの新しい入植地の発端となった。ローマ軍の予備兵は数多くの見張り塔から、手つかずの原生林を通る城砦間の国境非植林地を監視した。ラテン語で Vicus Murrensis と呼ばれたムル川沿いの当時の村は、ローマのゲルマニア・スペリオル属州のアグリー＝デクマーテスに属し、住民の多くはケルト人＝ゲルマン人の混血であった。2005年から UNESCO世界遺産に登録されたリーメスは、市域の真ん中を通っている。ローマ軍団第24部隊 (XXIIII COH VCR) のローマ城砦は旧市街の南都にあったが、その上に建物が建てられ（ロッシュ家の旧邸付近）たため、その遺構を見ることができない。ローマ城砦は、常に川床からの高さ 30 m に建設された。2010年9月、現在のシュタットミッテ（市中心部）東端での掘削作業中にローマ時代の建物の遺構が発見された。掘り出された浴場施設の遺跡は第24部隊の城砦に比べ、約 10 m 低い位置にあった。床下暖房施設が、これが浴場であったことを示している。1部隊は、現在の1大隊 = 4中隊（各150人）にあたる。建設工事は2010年11月まで中断され、この土地は考古学者によって精密な調査と記録が行われた。市の北 5 km の墓地の近くに復元された塔があり、周辺（リンデルスト耕作地）にはリーメスの遺跡が多く見られる。Vicusの遺構（ホルツブルンネン）は162年のものである。現在ヴァルテリヒス教会が建つヴァルテリヒスベルクには、ローマ時代には、ローマ兵の信仰を集めた神ミトラ（元々はペルシアの太陽神であった）の神殿とユーピテル柱があった。こうした遺構の中、いくつかが保存されているが、特筆すべきものとして、アルプスの北では唯一のロームルスとレムスとカピトリヌスの雌狼がある。これは現在カール＝シュヴァイツァー博物館に収蔵されている。ローマ帝国の権力を示し、地形をまっすぐに通るリーメスは、レムスタールにおいてはマインツとアウクスブルクとを結ぶ交易路を護るものとして利用された。この防衛施設は、233年に初めてアレマン人によって破壊された（ジーゲルスベルク付近を突破された）が、その後再建された。アレマン人は260年頃にはライン川右岸地区全域を征服し、ムルハルトのリーメス防衛施設も破壊された。トルビアックの戦いでフランク人がアレマン人に勝利した後、ムルハルトは496年からフランク王国の王領に属した。
本市の最も古い表記は Murrahart である。これは、「ムル川沿いの柳の森」を意味している。ムル川 (Murr) の名前は、湿地 (Moor)、泥土 (Morast)、沼地 (Sumpfland) に由来する。
後年、主犯丸尾良昭（部落解放同盟兵庫県連合会沢支部支部長＝当時）は内紛により部落解放同盟兵庫県連合会から除名処分を受けたが、その後も八鹿高校事件における部落解放同盟側の正当性を訴え続けている。2012年、上原善広の取材に応じた丸尾は「暴力は一切、やってません。むしろ私なんかは反対に教師たちに暴力を振るわれ、校長室で夕方まで寝込んでおった。ただ水は確かにかけましたし、体育館に連れて行ったりすることが違法行為であることは承知していました。しかし、そうでもしないと、この地域は変えられなかったのです」「若い者の間には、私のいない間に暴力をふるった者もいるかもしれません。しかし、それだけの理由があるのです」「私の場合でいえば、執行猶予がついただけでも勝利なんです。それに88年の控訴審判決では、裁判所に『部落差別は現在も極めて深刻な問題だが、法的規制や救済制度は不十分。糾弾行為は社会的に許される限度で認めることができ、耐え難い差別への反発からかなりの厳しさが伴うことが許される』と、糾弾権を認めさせた。これは八鹿闘争の勝利です」と発言している。（主犯丸尾良昭は八鹿高校事件のほか、元津事件ならびに橋本哲朗宅・木下元二議員包囲事件でも起訴されていた上、捜査段階から「本件は正当な糾弾権の行使であり、罰せられるべきは橋本哲朗であり、八鹿高校教師集団である」「差別を公然と行い、恥じることのなかった教師集団と、それを後ろであやつる日共差別者集団宮本一派こそ罰せられるべきであると思う」などと開き直りを続けており、一審における懲役4年の求刑にも拘らず執行猶予がついたことについて、検察から量刑が軽すぎるとの異議が申し立てられていた。）丸尾の「暴力は一切、やってません」との主張は、神戸地裁豊岡支部の民事判決で完全に退けられ、「被告丸尾良昭は、名実共に糾弾共闘会議の議長として動員された解放同盟員らの行動全般を指揮、統括しており、解放同盟員らによる本件不法行為につき、いずれも認識、認容しながら、ある部分については明示的に指揮し、他の部分については流れにまかせるなどして、結局、解放同盟員らと明示又は黙示に意思を通じ、本件不法行為の全部を共同して行ったものというべきである」と認定された。また神戸地裁の刑事判決では、犯行当日（1974年11月22日）、丸尾が八鹿高校の学生自治会役員から「暴力はやめてくれ」と言われたが「もう、おそい」と相手にしなかったこと、同日午後2時ころ別の生徒から「暴力は振るわないという約束に反したではないか」と追及され「暴力は仕方がなかった」と答えたことが認定され、この認定は大阪高裁の控訴審でも肯定されており、「暴力は一切、やってません」との上掲発言とは相容れない。