後年、『建設業界』誌の対談で語ったところによれば、扇は建設畑は未知で、国会に設置されている建設委員会の委員経験もなかった。しかし、森から与えられた機会を活かし、せめて持論の「一閣僚一仕事」程度は全うしようと考えた。当時、扇が気にかけていたのは、職員の士気が停滞しており、世間ではマスコミの報道によって「公共工事」イコール「悪」という認識が大手を振っていたように見えたことであった。事実、扇自身も、自らの起用理由が第1次橋本内閣で建設大臣の地位にあった中尾栄一の汚職事件に起因することは意識していた。これらの問題を解決するため、扇は、汚職の原因である入札制度について世界中の事例を調査するように命じた。フランス、ドイツ、イタリアで施行されている「公共工事基本法」を参考とし、公共工事の入札の透明化を図るため、公共工事入札契約適正化法を作成することを課題とした。法案提出に当たっての問題は、公共工事の所管が各省庁に分散しており、調整作業を通常の慣行で実施した場合に5年はかかると見込まれたことであった。そこで扇は総理の森に直訴したところ、森は「扇君が建設大臣として公共工事の基本法をつくろうとしているから、関係の省庁は挙げて協力するように」と閣議で指示した。その結果、法案提出は3か月で達成され、同法は成立に至った。
運輸大臣・建設大臣時代の扇の仕事の一つには、2000年6月末から噴火して段階的に拡大していった三宅島の全島民避難（9月2日より実施）の指揮が含まれる。
建設大臣時代は、内閣支持率が低迷する中で若築建設事件で接待を受けた建設官僚の名前を公表し、「建設白書」や防災服デザインの見直しなどの施策を打ち出したことで、森内閣のイメージアップ策に寄与した。
自由民主党総裁福田赳夫や幹事長大平正芳らの要請を受け、1977年7月、第11回参議院議員通常選挙に自由民主党公認候補として全国区から立候補し初当選する。当時はタレント候補の一人と評された。自民党内では当初、福田率いる清和会に属した。1989年の第15回参議院議員通常選挙では次点で落選したが、1993年に山岡賢次が第40回衆議院議員総選挙出馬に伴い自動失職したため繰上当選。1994年に自民党を離党して新生党に入党し、同年12月10日の新進党結党に参加する。1995年、第17回参議院議員通常選挙比例区で再選した。新進党解党後は小沢一郎率いる自由党結党に参画し、自由党が自民党と連立を組んだことで再び与党議員となった。2000年4月、与党連立政権を離脱した小沢らと袂を分かち、海部俊樹や野田毅、二階俊博ら25名の議員とともに保守党を結成して初代党首に就任する。
1957年5月31日付で歌舞伎役者の2代目中村扇雀（後の4代目坂田藤十郎）との結婚のため退団。1958年に結婚し、しばらく芸能活動から遠ざかった。しかし、知人の薦めにより日本教育テレビ（現：テレビ朝日）制作の単発テレビドラマ『君はいま何を見つめている』（1959年10月29日放送）に出演。この作品で第14回文部省芸術祭個人奨励賞を受賞し、再デビューする。芸能界に復帰してからは映画やテレビドラマなどに多数出演し、1965年の連続テレビ小説『たまゆら』（NHK）や1968年の『大奥』（関西テレビ）、『花は散るらん』（東海テレビ）などに出演した。フジテレビの主婦向けワイドショー『3時のあなた』で司会を4年間担当したほか、富士フイルムの8ミリカメラのCMで「わたしにも写せます」のフレーズが人気を集めたことも有名である。これまでに出演した映画は53作品に上る。
柔道は7歳の時に静岡東部柔道クラブで始めた。観山中学3年の時に全国中学校柔道大会52kg級に出場するが初戦で敗れた。藤枝順心高校1年の時に全日本ジュニアで3位になった。2年の時にロシアジュニア国際に出場するが5位にとどまった。この時に48kg級で優勝した1つ年上である藤村女子高校3年の浅香夕海に、｢加賀谷ってなんか妖怪みたいだよね｣と言われたことがきっかけで妖怪というあだ名が定着することになってしまったが、本人は｢妖怪ですけど、何か?｣とこの事態を開き直っていた。また、これがきっかけで誰も知り合いがいなかった強化合宿で周囲に打ち込むことができたので感謝しているともいう。その後のアジアジュニアでは優勝を飾った。3年の時にはインターハイ52kg級で優勝を果たすと、全日本ジュニアと世界ジュニアでも優勝を成し遂げた。山梨学院大学1年の時にはグランプリ・チュニスでIJFワールド柔道ツアーの初優勝を果たした。全日本ジュニアでも2連覇するものの、世界ジュニアでは準決勝でコソボのマイリンダ・ケルメンディに敗れて3位に終わり2連覇はならなかった。学生体重別では優勝を飾った。また、2年の時には優勝大会で山梨学院大学の優勝に貢献すると、グランドスラム・東京でも3位になった。3年の時には優勝大会で2連覇を果たすと、講道館杯決勝では金沢学院大学4年の橋本優貴に内股すかしで一本勝ちして優勝を成し遂げた。2013年には大学を卒業して了徳寺学園所属となった。2014年8月に実業個人57kg級で3位になったのを機に現役を引退して、9月からは了徳寺学園医療専門学校の事務員となった。2015年3月には了徳寺学園を退職した。2016年からは母校である藤枝順心高校にて職員をしている。