大阪市にて、下駄屋の店主の息子として生まれる。1945年3月13日、父母の故郷である奈良県磯城郡三宅村（現・三宅町）但馬の被差別部落に疎開し、以後そこで育つ。父が奈良に帰郷してから靴屋を営んで成功したため、一家は被差別部落の中では裕福だった。私立青々中学校（現・東大寺学園中学校）入学時から、父の言いつけで被差別部落出身を隠すようになる。奈良県立畝傍高等学校在学中、皇太子明仁親王夫妻が神武天皇陵へ参拝した時は、「自分は生まれながらに差別を受けているのに対して、彼らは生まれながらに敬愛されているというのは何やねん」という気持ちからポケットに石を詰め、皇太子夫妻に投石することを考えながら参拝を見に行ったことがある。建築家を志し、大阪大学工学部建築学科と早稲田大学理工学部建築学科を受験したが失敗。浪人生活3年目で上京。このころ、浪人仲間の佐藤嘉尚と親しくなる。3浪で早稲田大学建築学科と東京工業大学に合格し、後者に入学。しかしデモと酒と競艇に溺れて学業を放棄し、自転車泥棒で逮捕されるなど荒廃した生活を送り、1965年に東京工業大学を中退すると、釜ヶ崎で日雇い労働を経験。ここでも酒や博打に明け暮れていたが26歳で帰郷。しばらく家業の皮革業を手伝っていたが、1968年秋から1969年にかけて、式下中学校の同和教育にまつわる糾弾会に参加して感動したことがきっかけで部落解放運動の道に入り、1969年9月7日、弟たちと共に部落解放同盟奈良県連合会上但馬支部を結成、書記長に就任。部落解放同盟奈良県連合会の専従職員となり、糾弾闘争に邁進し、糾弾屋の異名を取る。1977年、日本社会党に入党。1983年から奈良県議会議員に6期連続当選。部落解放同盟奈良県連合会書記長時代、1989年11月4日から11月18日にかけて、奈良県天理市立西中学校で暴力糾弾事件を起こす（天理西中学校事件）。暴行傷害事件によって負傷者6名と破損車4台を出し、同年11月29日、部下29名と共に暴力行為ならびに傷害の容疑で奈良地方検察庁に告訴される。部落解放同盟中央委員ならびに同奈良県連合会副委員長に在任中、1991年9月4日、八鹿高校事件控訴審第4回口頭弁論に部落解放同盟側の証人として出廷し、暴力糾弾肯定論を展開した。県議2期目在任中、1991年、上田繁潔知事の辞任を受けて知事選出馬の話が持ち上がったが、川口正志を委員長とする部落解放同盟奈良県連合会（川口県連）から妨害を受けて出馬取止めとなる。部落解放同盟奈良県連合会委員長在任中、1993年6月15日、県連統制委員会にて、川口県連から池原茂光書記長と共に除名処分を受ける。一方、山下を委員長とする部落解放同盟奈良県連合会（山下県連）の側も、県連統制委員会にて川口県連の川口委員長を除名する（山川戦争）。2001年4月22日の第42回部落解放同盟奈良県連合会大会にて、山下県連を奈良県部落解放同盟支部連合会と改称。その理由については「部落解放運動も国政同様『中央集権』が行き過ぎて、その弊害がひどくなっていると考えたから」と説明した。同時に、原則として糾弾闘争を放棄することを決定した。自著『被差別部落のわが半生』の中で、糾弾の行き過ぎや利権主義に関する反省の弁を綴っている。2009年10月、「部落差別は今もなくなっていないが、差し迫った課題ではなくなった」との立場から奈良県部落解放同盟支部連合会を解体し、新組織「人権情報センター絆」に改組することを発表した。
「メナシ」の原義は「[東または南から吹く]強風」や「時化を呼ぶ風」などで、太平洋沿岸地域のアイヌが河川を境として「東風の吹いてくる方角」を「メナシ」、その対岸を「スム」と呼んだ事から転じて、「メナシ」は「東」を意味するようになった。「イシカリ(石狩)」や「ソウヤ(宗谷)」といった地名と違い、河より東をメナシ、西をスムと呼ぶのは道東で広く見られることで、「メナシ」は本来的には広範囲(道東一帯)を指す地名ではなかった。アイヌが「メナシ」という地域名を用いるようになったのは、和人による地域区分を逆輸入したためではないかとする説もある。「メナシクル」の範囲について、『津軽一統志』は以下のように記す。しふちゃり(静内)より奥狄罷有候所の覚：一、もんへつ(現捫別川流域)。一、ほろいつみ(幌泉)。一、とかち(十勝)。一、しらぬか(白糠)。一、くすり(釧路)。一、あっけし(厚岸)。右所々狄共メナクシクルの内にて、銘々居所を構、頭分に罷成有之由、此狄の分シャクシャインと一味仕、浦々へ着船の商人共を殺し申候由に御座候…… — 『津軽一統志』この記述から、シャクシャインの時代には日高の静内から釧路・厚岸に至るまでの広大な一帯が「メナシクル」の範囲であったと考えられている。この「メナシクル」が一人の惣乙名(シャクシャイン)によって治められる政治的集合体であったとする説もあるが、近年ではシャクシャインの勢力はより限定されたものであったとする説もあり、大井晴男は実際のシャクシャインの勢力圏は静内川・捫別川流域一帯に限られていたと想定する。また、シャクシャインの戦いから約百年後、蝦夷通辞の上原熊次郎もメナシクルの分布について記述している。扠又、当所(静内)よりポロイヅミ辺までの蝦夷をまとめてメナシウンクルといふ。則、東のものといふ事。ニイガプよりシラヲイ辺までの蝦夷をシュムンクルといふ。則、西のものといふ事。……ビロウ(広尾)より子モロ(根室)領辺迄の蝦夷をシメナシュンクルといふ。則、奥東のものといふ事…… — 上原熊次郎『蝦夷地名考并里程記』この記述によると、シャクシャイン時代のメナシクルは日高南部に居住する集団と十勝〜根室一帯に居住する集団に分かれており、前者を「メナシウンクル」、後者を「シメナシュンクル」と呼んでいたという。ここで言う「シメナシュンクル」の領域は和人が言う所の「道東」とほぼ一致する。アイヌの墓標を調査した河野広道によると、当時静内以東の日高南部から釧路・網走にかけての一帯にメナシクル型の墓標が分布していた。男性の墓標はほとんどがY字型の股木であるが、女性の墓標は地域によって二分される。十勝では上の方にくびれのある太い木となっており旭川のものに近い形状であるのに対し、日高や釧路・網走では丁字型の木であり、内浦湾沿岸や石狩湾周辺のものに近い形状である。また、考古学的には「メナシクル」の領域にのみ「砦」としての性格を持つチャシが発見されている。これはメナシクルが日高山脈以西より遅れてアイヌ文化を受容した集団を母体としており、後に「アイヌ化」する過程で交易を巡って抗争が起こったためとする説がある。