週刊文春（2005年12月8日号）で1988年に中華人民共和国を訪問中に女性を買春し、中国公安当局に尋問されたと報じられた。これを受けて谷垣は名誉を棄損されたとして、謝罪広告の掲載と2200万円の損害賠償を求めて週刊文春の発行元である文藝春秋側を提訴。1審（東京地裁）は名誉棄損の成立を認めて文藝春秋側に330万円の支払いを命じ、2審（東京高裁）では1審判決を支持した上で賠償額を220万円に減額。その後最高裁は文藝春秋側の上告を棄却し、2審判決が確定した。
2004年6月4日、内閣府特命担当大臣（防災）の井上喜一が佐世保小6女児同級生殺害事件について「元気な女性が多くなってきたということですかな」などと発言したため、問題の本質から外れているとして批判を浴びた。この発言を受けて、谷垣は6月5日に岡山市で行った講演で、「弁護するわけではないが、私の若い頃は、放火は女性の犯罪。もちろん男もあるが、どちらかというと女の犯罪。カッターナイフで切るのは原則的に大人の男の犯罪」などと発言し、軽率な発言として批判された。
秘密保全法制には反対の立場であり、自民党議員12人と連名で「報道機関のみの規定をなぜ置くのか、報道機関以外はすべて処罰されるとするのか疑問である。かかる規定は、国民すべてに適用されるべき」という意見書を出したことがあるが、特定秘密保護法には賛成。会見において、後述の1980年代のスパイ防止法では反対の立場をとっていたにもかかわらず、今回賛成の立場であることの理由を記者から質問された際、「秘密保護法制を考える際は、民主主義社会においては情報公開の仕組みが合わせてなければならない。当時は情報公開制度は無きに等しかった。その時より状況が変わってきている。また、構成要件の条件も、情報公開制度が全く無い時と、ある時とでは縛りのかけ方が違う。」と述べた。
金融再生委員長在任中、日本長期信用銀行破綻後に公的資金を投入しオランダ籍の投資組合ニューLTCBパートナーズに10億円で売却するのを主導。ニューLTCBパートナーズが日本長期信用銀行名称変更後の新生銀行となり、新生銀行上場後株式を売却し約1兆円の売却益を得たが日本側から課税できないことについて、財務大臣在任中に日本共産党衆議院議員の塩川鉄也から質問を受けた際、「条約関係のもとで日本では課税権がないということを承知しておりました」と述べ、旧日本長期信用銀行の売却時点ですでに将来収益に課税できないことを知りながら放置してきたことを認めた。これについて日本共産党は外資に利益を与え納税者に「不利益」を与えたと批判した。
2018年7月には有隣会（谷垣グループ）が隼町にバリアフリー仕様の新しい事務所を開設した。同年10月31日昼、安倍晋三首相と総理大臣官邸で面会し、その後は自ら記者団の取材にも応じた。これが自転車事故で頸椎を損傷して以来、約2年3カ月ぶりに公の場に姿をみせた機会となった。2019年2月10日、東京都内のホテルで開かれた自民党大会で車イスに乗って登壇しスピーチを行った。3月13日には二階が谷垣と会食し、同年夏の参院選への出馬を打診したが谷垣は固辞した。同年5月、東京都が設置した、「東京2020パラリンピックの成功とバリアフリー推進に向けた懇談会」の名誉顧問に就任。
2016年7月16日午前、趣味のサイクリング中に転倒し、頸髄損傷により入院する。幹事長の職務続行が困難になったため辞任の意向を示した。これを受け、続投の意向であった安倍晋三首相は、同年8月3日に行われた内閣改造に伴う自民党役員人事において、総務会長の二階俊博を幹事長に任命し、谷垣は幹事長の職を辞することとなった。以後、療養に努めていたが、2017年6月16日、東京都内で開かれた谷垣派のパーティーにおいてメッセージを寄せ、秋口までに復帰することを示唆した。その後、同年10月に行われる見通しの第48回衆議院議員総選挙には立候補しない意向を示した。政界復帰を求められたが、後進に託すとして慰留を固辞し、9月25日、正式に政界引退を表明した。
2014年9月3日、第47代自由民主党幹事長に就任。自由民主党総裁経験者の幹事長就任は初めて。そして同日午前中の記者会見では、年末の消費税10%引き上げに関して、法律上は8%から10%に引き上げるためのレールが敷かれており、基本的には法律に則って進める考えを示す一方で、同時に景気情勢をよく見ていかなければならないと述べた。また安倍晋三首相からは「諸般の事情もよく目配りして進めてほしい」と指示があったことも明かした。
中世には日前宮が鎮座地周辺を社領として経営しており、紀ノ川から社領域の農業用水として宮井（現宮井川）を引いていた。一方平安時代末には神宮領の東北方に立荘されていた和佐庄は、庄内の農業用水として宮井から引水する和佐井を開削していた。相論は永享4年（1432年）に起きたが、当時は和佐庄によって紀ノ川左岸河口部の氾濫原（沖積低地）の開発が急速に進められていたと見られ、同庄は10年程前の応永29年（1422年）にも隣接する石清水八幡宮領の岩橋庄との間で堺相論を起こしている。こうした和佐庄の新開発に対して、社領域の農業生産を宮井に依存していた日前宮が危機感を募らせたことによる異議申し立てが本相論であったと推測でき、このように理解すれば用水の上流と下流に位置する者同士のありきたりの相論に過ぎなくなるが、本相論は灌漑用水の管轄権の推移や室町時代の裁判手続きの具体相を伺わせるものともなっており、特に後者の点については守護と守護被官に対する在地社寺勢力の葛藤といった面を髣髴とさせるものがあるために興味深いものとなっている。