妻の美代子は中央信託銀行会長や日本銀行第24代大阪支店長を務めた白根清香の三女、音楽評論家の遠山一行が長兄、指揮者の遠山信二が次兄に当たる。また、3人の子がおり、長男は慶應義塾大学准教授の遠山元道、次男は実業家の遠山正道である。
日興證券創業者の遠山元一の三男。旧制府立高校時代よりサッカー選手としてプレーし、1944年に東京帝国大学経済学部に入学した。なお、入学当初は太平洋戦争中でサッカーを禁止されていた時期であり、ア式蹴球部（サッカー部）の活動は出来ない有様であったが、戦後ア式蹴球部を復活させて主将も務めた。なお、遠山は兵役は免れたとされる。1946年5月に開催された復興第1回全日本サッカー選手権大会で東大LBの一員として優勝した。1948年に大学を卒業し、同年ダヴィッド社を創立し、社長に就任。1954年11月、日興證券に入社して取締役秘書役。同年、新東宝映画『美しい人』（三好十郎原作）を製作。1955年12月、日興證券債権部付となった。その後、常務および専務を経て、1966年に日興証券の副社長に就任。将来は日興証券の社長に就くと目されていた。また、1965年度に日本青年会議所の会頭（任期1年）を務めた。1973年3月5日、マヨルカ島からロンドンに向かうためにイベリア航空504便（DC-9-30、機体記号EC-BII）に搭乗中にフランスのナント上空で衝突事故に遭遇して事故死した。1974年、ダヴィッド社から追悼本『遠山直道』（遠山直道追想録刊行会編）が刊行された。
鹿児島県出身。幼時に墨田区に転居し東京市立二中に進学、不良仲間のボス格となる。中学卒業後に陸軍士官学校への進学を希望するも色覚異常で断念し官立無線電信講習所へ進学、学徒動員で海軍に従軍し終戦を迎える。終戦直後に東京商科大学に進学するも、一年で中退し参議院主事（守衛）として就職。更に鳩山一郎の書生を経て院外団活動に身を投じ、夏堀源三郎・油井賢太郎の秘書を務めた。被選挙権を得るや、居住していた台東区の区長選を皮切りに、各地の首長選・衆議院議員総選挙・参議院議員通常選挙・東京都議会議員選挙と、選挙の種類を選ばずゲリラ的かつ愉快犯的に出馬を重ねるようになった。ナチスを摸した「国家社会主義日本労働者党」を筆頭に、「反米遊撃隊」、「反共全国遊説隊」、「創価学会」、「民主社会党」、「国際情報機構東京第101特務機関」、「国際共産機構東京第101特務機関」、「国際共産機関」、「国際共産主義者同盟」、「日本人民共和国」、「竹島奪還神風特別攻撃隊」、「肥後産業株式会社」など、その都度人を喰った団体名を語り、主として社会党ほか革新陣営に対する中傷誹謗、選挙妨害、減票工作に終始した。その一方で反米英思想が異様に強く、選挙運動時に「在日米国駐留施設の破壊」「在日米国人と親米日本人の殺害」のような物騒な主張を打ったり、ユニオン・ジャック上に脱糞したものを駐日英国大使館に送り付けたりして、世間の顰蹙を買った。過剰なまでの当てこすりの動機には、敗戦ではけ口を失った屈折した国粋主義と、反共思想があったとされる。1958年の第28回衆議院議員総選挙では、自由民主党の公認漏れ候補者が烏合集結した「革新自由民主党」の選挙対策副委員長にも就任している。国政選挙に際しては、肥後と徒党を組むアングラ人脈や、肥後が経営に関与するタクシー会社の従業員を大量に擁立して、確認団体の体裁を整えたこともあった。しかし、代表の肥後以外は立会演説会にも出席せず、無届で勝手に代理弁士（その多くは高田がんであった）を立てたり、選挙ポスターや選挙公報には候補者名よりも肥後の名前を大書し、ラジオの政見放送でも『公明選挙を推進する肥後亨、肥後亨事務所の××××（立候補者名を2回）。どうぞよろしく』というフレーズを時間一杯延々と繰り返すなど、異常な選挙運動を展開したため、「何のための立候補か」といぶかしがられた。肥後本人も、投票日直前に立候補取下を繰り返す奇怪な行動を見せた。そのような有様ではほとんど得票できず、下位落選、供託金没収の連続であった。当時の供託金が物価に対して現在ほど高額ではなかったとはいえ、その累計は相当額に達したはずだが、肥後は旧陸軍資産の横領で財をなし、その後も運送業の傍ら、東京都新宿区に存在していた不動信用金庫や千葉工業大学の理事に名を連ねていた時期もあったため、この程度の出費は支障ない資産家であると目されていた。後に、背番号候補の一件(次章で詳述)における捜査で、大量立候補によって交付を受けた選挙ハガキや選挙用証票・証紙類を、東龍太郎や粕谷茂を始めとする他の自民党候補にヤミ転売し、グループの活動資金源としていたことが判明する。一度として当選することなく、マスコミから指弾され警察にマークされながらも、「(誇り高き)選挙屋」だとうそぶきつつ「選挙闘争」を継続。そして肥後グループの暗躍が最高潮に達した1963年の東京都知事選挙では、配下の中山勝と高田がんを「肥後亨」（団体名）から擁立するのみならず、果ては既に死亡していた人物（橋本勝）の戸籍を剽窃し、これに第三者をなりすまさせてまで立候補させたが、選挙ハガキやポスター用証紙の偽造をするニセ証紙事件が発覚し、17名の逮捕者を出す。