栃木県上都賀郡足尾町（現日光市）で、田中秀助、サヨ夫妻の二男として生まれた。1911年、足尾尋常小学校卒業と同時に足尾銅山の坑夫となる。1918年米騒動を契機に社会運動に関心を持ち、1919年、足尾銅山に結成された大日本鉱山労働同盟会に加わり役員に就任。同年11月、坑夫の待遇改善運動のため入獄し、1920年、東京控訴院で執行猶予の有罪判決を受けて足尾銅山を解雇された。同年9月、福島県安積郡郡山町に移り、郡山電気 (株) に入社。1924年、郡山電気従業員組合長に就任して待遇改善闘争を行い解雇されたが、日本労働総同盟郡山労働組合長として運動を継続した。1926年、社会民衆党、日本労農党が結成され役員に就任。1927年、磐城炭鉱大争議の指導により入獄したが、大審院で無罪判決を受けて出獄し、さらに東部電力 (株) 従業員の待遇改善運動を指導した。1938年、日本大衆党が結成され役員に就任し、郡山地方の電灯料値下同盟を結成。1930年、全国大衆党が結成され、同福島支部連合会執行委員長に就任。この頃、生活が最も窮乏し、露店商人、道路工夫、電灯工夫など職を転々とした。1931年、杉山元治郎、岡田宗司らと福島県伊達郡川俣町を中心に小作農民を組織化し、また、全国労農大衆党の役員となる。1932年、社会大衆党が結成され中央執行委員、福島県連会長に就任。1933年、全国農民組合福島県連合会委員長に就任し、小作争議の指導などを行う。1936年、社会大衆党公認で郡山市会議員に当選した。その後、大日本農民組合福島県連合会長、福島県農地委員、日本有畜機械農業協会主事を務めた。戦後、1945年に栃木県那須郡高林村（現那須塩原市）に入植。1946年、日本労働組合総同盟の結成に加わり、同福島県連結成に尽力し、福島県地方労働委員、同賃金委員、同失業対策委員に就任。また、同年11月、日本社会党の結成に加わり、同中央委員、同統制委員、同福島県連役員を務めた。1947年4月、第1回参議院議員通常選挙に福島県地方区から日本社会党公認で出馬して当選し（任期3年）、参議院議員を一期務めた。また、1955年2月、第27回衆議院議員総選挙に福島県第一区から社会党右派公認で出馬して当選し、衆議院議員を一期務めた。その他、日本鉱山労働組合役員、民主社会主義連盟常任理事、那須高原政治学校長などを務めた。1959年、社会党を離党し、1960年、民主社会党の結党に加わり、同統制委員を務めた。同年11月の第29回総選挙で党の公認を得られず無所属で出馬したが落選した。
ライスは1894年、22歳の時に初めてニューサウスウェールズ州のテニス・トーナメントに出場した。それから10年余を経て、1905年に第1回「オーストラレーシアン選手権」が創設された。現在の「全豪オープン」の原型となるトーナメントは、最初は男子シングルス・男子ダブルスの2部門で始まった。1907年にアデレードの「メモリアル・ドライブ・テニスクラブ」で行われた第3回大会において、ホーレス・ライスは男子シングルス・男子ダブルスの2部門とも決勝に進み、両方の決勝でハリー・パーカー（ニュージーランド）と対決した。シングルス決勝ではライスが優勝し、ダブルス決勝ではパーカーの組が勝った。全豪選手権は長い間、毎年開催都市を回り持ちしたが、最初期はメルボルン・シドニー・アデレード・ブリスベンのほかに、西オーストラリア州の州都パースやニュージーランドなどの遠い地で開かれたこともあった。そのため、大半の選手たちは遠征の都合をつけられる大会に出場した。ライスの場合も、1907年から1923年までの間、総計出場回数は6度であった。シングルスではその後優勝から見放され、1910年・1911年・1915年の3度準優勝に終わっている。最後は第1次世界大戦の終戦後、1920年と1923年の2度出場記録を残し、50歳間近の高齢になってもシングルス準決勝に勝ち残っていた。1913年、ホーレス・ライスは41歳にして初めての海外遠征に出る。唯一の出場となったウィンブルドン選手権では、シングルス2回戦敗退に終わった。この後、男子テニス国別対抗戦・デビスカップのオーストラレーシア代表選手としてアメリカと対戦した。ライスの対戦相手は、当時選手経歴の最盛期を迎えていたモーリス・マクローリンとリチャード・ウィリアムズの2人だった。第1試合でライスはマクローリンに歯が立たず、オーストラレーシアは第4試合で敗退が決まる。最終第5試合で、41歳のライスは21歳のウィリアムズから第1・第2セットを連取したが、続く3セットを逆転で落とした。なお、ライスが唯一の出場をした1913年を最後に、デビスカップでは「オーストラレーシア」の国名がなくなり、1914年から「オーストラリア」の国名で出場するようになった。全豪選手権は1921年まで男子シングルス・男子ダブルスの2部門が実施されていたが、1922年から女子競技が増設され、女子シングルス・女子ダブルス・混合ダブルスの3部門が加えられた。ライスは1923年、第2回の混合ダブルス競技でシルビア・ランスとペアを組んで優勝した。51歳のライスと28歳のランスは、決勝でバート・セント・ジョン＆マーガレット・モールズワース組に 2-6, 6-4, 6-4 の逆転勝利を収めた。シングルスでは準決勝でバート・セント・ジョンに 7-9, 6-3, 5-7, 3-6 で敗れている。この大会を最後に、ライスは全豪選手権から引退した。彼は53歳を迎える1925年までトーナメントに出場し、30年以上に及ぶ長いテニス経歴を築いたが、その後消息が分からなくなった。1950年にシドニーにて77歳で死去した。