1964年の上院議員選挙に共和党から立候補するが、落選する。当時テネシー州は民主党の強固な地盤であった。1966年に再び上院議員選に挑戦し、今度は当選する。ベーカーは南北戦争後の再建期以降、初めてテネシー州から選出された共和党の上院議員であった。また、南部（テキサス州を除く）から初めて再建期以降に選挙で選出された共和党の上院議員でもあった。（当時唯一南部出身の共和党所属の上院議員であったストロム・サーモンドは、1964年に民主党から共和党に鞍替えした。）1973年にウォーターゲート事件が発覚した際には、設置された上院ウォーターゲート特別委員会の副委員長に就任し、公正中立に真実を明らかにする立場から、共和党内からいち早くニクソン大統領を追及する姿勢を見せた。このことは党派に囚われない公正な政治家としてのベーカーの名声を高めた。1977年に共和党上院院内総務であったヒュー・スコット上院議員が引退したのを機に、院内総務に就任。パナマ運河返還問題では、党内に根強い返還反対の声を押し切り、返還賛成でまとめ上げ、パナマ運河返還条約（新パナマ運河条約）締結を実現するなど、強い指導力を見せた。1980年の共和党大統領予備選に立候補するが、ロナルド・レーガン元カリフォルニア州知事に敗れる。この年の選挙で共和党が勝利し、多数党となると、ベーカーは名実共に上院の最高指導者となった。1984年の改選の際には立候補せず、上院を去った。上院では強いリーダーシップを発揮し、歴代院内総務の中でも傑出した人物の一人と看做されている。またベーカーは、民主党が圧倒的な強さを誇った地元テネシー州における共和党組織の構築に大きな功績を果たし、同州での共和党の勢力を民主党に伍すものにした。
下院議員を務めたハワード・ベーカーの息子として、テネシー州ハンツヴィルに生まれる。彼の継母、アイリーン・ベイリー・ベーカーも下院議員であった。テネシー大学のロー・スクールを1949年に修了した。第二次世界大戦中の1943年から1946年にかけて、海軍士官としての軍歴がある。ロー・スクールを修了後は地元テネシー州の法律事務所に勤める。
1893年（明治26年）12月28日、新潟県三島郡出雲崎町に生まれる。出生姓は安部。12歳のとき、高等小学校1年を終了して銀行の見習い給仕となり、以後、独学で出版人としての教養を身につける。1914年（大正3年）、22歳のころに上京し、1916年（大正5年）、東京の「太陽通信社」に入社、同年11月に創刊された雑誌『黒潮』の編集に創刊号から携わり、のちに、東京の化粧品メーカー伊東胡蝶園が同年に設立した出版社「玄文社」に入社、同社は『新演芸』（主筆岡村柿紅）、『新家庭』、『花形』、『詩聖』などの雑誌や書籍を編集・発行したが、これらの雑誌の編集に携わった。1923年（大正12年）、29歳のころに「玄文社」を退社し、大田黒元雄や片山広子らの資金援助を元に出版社「第一書房」を設立した。代表的な書籍は、松岡譲の『法城を護る人々』、 パール・バックの『大地』（新居格訳、1935年）等の小説、堀口大學の訳詩集『月下の一群』（1925年）、上田敏の『上田敏詩集』等の多くの詩集や、大田黒元雄『歌劇大観』（1917年の音楽と文学社版の増補改訂版）等の評論、雑誌『セルパン』等を出版した。書物の美にこだわり、絢爛とした造本の豪華本を刊行したことや、在野精神と反アカデミズムの精神による長谷川の出版活動は、「第一書房文化」と讃えられた。特に大田黒は長谷川に共鳴し、第一書房に多大な資金援助を行った。1928年（昭和3年）、岩佐又兵衛の名作「山中常磐物語絵巻」（現在はMOA美術館蔵）がドイツ人に売られようとしていることを知り、家屋敷や他の収集品も抵当に入れて入手したという逸話は、NHK教育テレビの新日曜美術館でも紹介された。1936年（昭和11年）、神奈川県藤沢町鵠沼に病気静養した長谷川は、この地が気に入り、1939年（昭和14年）5月に鵠沼松が岡一丁目の砂丘上に瀟洒な洋館を新築して居住し、前の道を富士見坂と命名する。ここに住んだのは1943年（昭和18年）までで､次に鵠沼松が岡三丁目に古民家を改造して住み、さらに鵠沼松が岡四丁目へ転居したが、終生鵠沼を離れなかった。1940年（昭和15年）6月15日には、同年9月27日の日独伊三国軍事同盟締結に先駆け、アドルフ・ヒトラーの『我が闘争』の初版（室伏高信訳）を出版している。同書は当時のベストセラーとなった。第二次世界大戦が始まり、戦時体制下でも出版をつづけた。1944年（昭和19年）、「出版一代論」を唱え、50歳にして「第一書房」を廃業、一切の権利を大日本雄辯會講談社（現在の講談社）に譲渡した。同社は、21年の間に単行本759点、全集叢書22点、雑誌13種を出版した。戦争中に、ヒトラーの『我が闘争』などを刊行したことにより1946年（昭和21年）には公職追放となり、出版事業をはじめ、一切公的な活動から身を引いた暮らしをつづけた。林達夫らとの交流は続けられ、終戦直後に協力して鵠沼在住の文化人から蔵書の提供を受け、貸本屋「湘南文庫」を開設したり、文化人を講師に「鵠沼夏期自由大学」を開催、開校したばかりの小学校や公民館に蔵書を寄贈するなど、地方文化の振興に尽くした。1973年（昭和48年）10月11日、鵠沼で死去した。満79歳没。新潟県長岡市の悠久山にある悠久山公園に、長谷川を顕彰した石碑がある。なお、現在東京都文京区本郷6丁目にある株式会社第一書房は、長谷川の「第一書房」とは関係がない。また、2006年に長谷川の伝記を上梓した長谷川郁夫には、長谷川との血縁関係はない。