12月11日、ガジョンは最初の哨戒で日本近海に向かった。これは第二次世界大戦における、アメリカ潜水艦の最初の戦時哨戒である。この哨戒でガジョンは2つの初物づくしを太平洋艦隊潜水部隊にもたらした。一つは「日本近海で行動した最初のアメリカ潜水艦」であり、ガジョンは九州沿岸で哨戒した。12月31日から1942年1月10日までの間に計6隻もの船を発見し、1月4日には北緯32度11分 東経131度52分の地点で1,500トン級沿岸貨物船に対して魚雷を2本発射したが命中せず、1月9日から10日にかけての夜にも北緯31度56分 東経132度15分の地点で貨物船に対して魚雷を3本発射し、1つの命中音を聴取した。1月8日には南雲忠一中将率いる第一航空艦隊の出撃もあったが、ガジョンはこれに気づく事はなかった。もう一つの初物は「第二次世界大戦で敵艦船を撃沈した最初のアメリカ潜水艦」であり、1月27日0900、ガジョンは北緯28度24分 東経178度35分のミッドウェー島西方240浬地点で潜航中、左舷前方に高速推進器音を聴取。やがて4600mの位置で15ノットの速力で浮上航走中の伊73を発見。0907、荒天の中ガジョンは1600mの距離で魚雷3本を発射。1分45秒後、2回の爆発音を聴取すると共に推進器音が消え、その後ガジョンが再度潜望鏡観測した時には伊73は海上から姿を消していた。この頃、日本の潜水艦がカリフォルニア州、ワシントン州沿岸で通商破壊作戦を実施しており（アメリカ本土攻撃）、そのうちの一艦と考えられていた。また、2日前の1月25日に伊号第二十四潜水艦（伊24）がミッドウェー島に対して艦砲射撃をしており、司令部は伊24を待ち伏せるつもりでガジョンに指令を出していた。1月29日、ガジョンは51日間の行動を終えて真珠湾に帰投した。
ところが、同年から研究会が有利になり始め、懇話会・三曜会が不利になっていった。きっかけは7月の貴族院の有爵互選議員総改選にあり、明治25年から選挙団体・尚友会を設立し会員統制で組織票を集め、積極的に会員を勧誘し急成長していった研究会は選挙に万全の態勢を整えていった。対する懇話会は組織としてまとまりがない上、選挙へ備えていないため勝負にならず、三曜会共々惨敗を喫し、研究会が有爵議員を46人当選させたのと対照的に、懇話会・三曜会あわせて18人しか当選出来ず、有爵議員の引き抜きが不可能になりジリ貧に追い込まれ始めた。それでも議員の動きは流動的で、まだこの時点で懇話会・三曜会に衰退は見られず、むしろ懇話会は2年後の明治32年（1899年）では最大68人に増加していた（ただし、三曜会はそのまま衰退して解散し朝日倶楽部と合併している）。しかし長期的な衰退は避けられず、山縣の側近平田東助・清浦奎吾がそれぞれ茶話会・研究会を押さえ両会派を連携させ、無所属団結成および無所属団と茶話会の大半を入れた幸倶楽部派と研究会の連携も成功すると懇話会・朝日倶楽部の劣勢が明らかになった。政府が勅選議員を茶話会などへ送り込んだことも痛手で、議員引き抜きが更に困難になった懇話会は明治32年12月に第2次山縣内閣が提出した宗教法案の賛成・反対を巡り、内部分裂を起こし脱会者を続出させてしまった。谷ら主流派は40名は翌33年（1900年）に「庚子会」と改名し存続を図ったが、人数減少により研究会に大きく差をつけられますます没落していった。こうした状況でも谷の政治活動は続けられ、貧民救済の立場から足尾鉱毒事件で実地調査と被害者救済に奔走、田口卯吉と地租増徴を巡り論争、宮古島における人頭税廃止運動を熱心に応援している。自作農保護の観点から地租増徴に反対、対する田口が経済自由主義を掲げ賛成の論陣を張り、両者の論争は陸羯南の『日本』に掲載されたが、現実には地租増徴が成立、谷の主張は通らなかった。明治33年9月に誕生した立憲政友会には疑いの目を向け、10月に成立した第4次伊藤内閣の増税予算案は、政党の利益誘導が盛り込まれ民衆の負担増に繋がるため、例によって反対に回り、研究会・幸倶楽部派も増税に反対し貴族院は内閣と全面対決の様相を呈した。庚子会・朝日倶楽部は弱体化していたため谷は研究会の協力に泣いて感謝したが、明治34年（1901年）3月に天皇から政府支持を呼びかける勅語が下され、貴族院は止む無く予算を通過させたため無駄になった。以後貴族院は政府への反抗を控え、庚子会・朝日倶楽部に対する研究会・幸倶楽部派の優位は決定的となり、庚子会・朝日倶楽部は合併し土曜会と改名・存続したが、もはや少数派に転落し人数も40人前後に低迷、かつての立場は望めなくなった。谷の主張も時勢に合わなくなり、貴族院の自立を主張する一派は衰退し衆議院と連携した内閣との妥協が以後の貴族院の政治姿勢となった。谷の頑なな態度は近衛や陸といった同志の離反も招く。ロシア帝国が中国大陸に進出する中近衛はイギリスと同盟しロシアとの対抗を構想、大陸進出に反対する谷は近衛と離れた。日英同盟が締結されても「彼に利あり我に利無き」と反対している。陸もロシア強硬論に傾いたため決別、それでも主張を曲げず、日露戦争時には健全財政論・防御中心の軍備を主張する政治的立場から開戦に反対した。社会学者建部遯吾は娘芳子の夫だったが、主戦論者のため彼とも対立し非戦主張を通した（戦後芳子と建部は離婚）。戦後も軍縮・緊縮財政を呼びかけ、影響力を無くした貴族院で執拗に増税に反対したが、軍拡・積極財政と帝国主義が主流になる政界で谷の意見は却下され続け、ジャーナリズムから時代遅れと罵倒されても意志を貫き通した。戦後、ポーツマス条約が締結されたが、この条約では宗谷海峡と間宮海峡の相互非武装と無害通航が定められており、谷は自国内の要衝が非武装とされるのは「誠に屈辱」と反対している。明治44年（1911年）死去。享年75。墓は妻玖満子、父、乙猪と共に生家に近い安楽寺山城にある。家督は養孫で乙猪の長男・谷儀一が継いだ。