住民は伝統的にプロテスタント＝ルター派の信者が多数を占める。現存する最も古いプロテスタントの教会は、ウスラー中核市区にある聖ヨハニス教会である。その礎石は1428年5月20日に設置された。ボレンゼン市区の聖マルティン教会は1883年に建造された。マルティン教会からわずか数 m の位置にあった現存しない前任の建物はゾリング地方のキリスト教化の時代に創建された。アラースハウゼン、ディンケルハウゼン、エッシャースハウゼン、ゾーリンゲン、ファーレ、ヴィーンゼン、マリーハーゲンにはルター派の礼拝堂がある。最も古いのは14世紀に建設されたヴィーンゼンの Jodoci礼拝堂である。マリーハーゲンの礼拝堂は10世紀初めに創建され、1496年から廃墟となったが、1984年から1986年に大規模な保存修復工事が行われた。宗教改革以後、何世紀もの間ローマカトリック教会の組織は存在しなかった。20世紀の初め、市内には17人のカトリック信者がいただけであった。第二次世界大戦後に旧ドイツ東部領土から放逐された人々がウスラー周辺に定住したことで状況は変化した。1940年代の終わりにはカトリック信者数は3,000人にまで増加した。コンラート・フォン・パルツハムによって完成された教会は、ツーム・クライネン・フェルト通り7番地にある。支部がフォルプリーハウゼンの聖ヨーゼフ教会にある。福音派自由教会（バプテスト）は、アインベック・バプテスト教会の説教ステーションとして1886年に設けられた。この支部は1891年に独立した。1909年にウスラーのノイシュタットに住居を改造した組織ホールを設けた。教会堂は1933年にシュティフト通りに建設された。1975年、1978年、1994/95年に大幅な組織拡大に基づき「平和教会」と名付けられた組織センターの大規模な増改築が行われた。1971年6月10日に、ニーダーザクセン州文化大臣はウスラーの福音派自由教会に公法上の法人資格を与えた。ウスラーには新使徒派教会組織もある。
明治23年（1890年）7月の貴族院議員選挙に当選し政界に復帰、11月29日に帝国議会が開会を迎えると学習院で掲げた皇室の藩屛たらんとし、政党・政府から自立して懇話会に属し、地租増徴に反対するなど独自の政治運動を展開した。天皇や元田からは枢密院か宮中入りを望まれたが、それを断り政界から皇室を守ることを決断した上での貴族院入りだった。国粋主義、農本主義的立場から、藩閥とも板垣ら民権派とも異なる保守的な中正主義で、土佐派の重鎮として重きをなしていた。政治思想はかねてからの主張を元にしてまとめ、天皇に忠誠を尽くす皇室崇敬、衆議院（政党）と政府からの独立および監視、政党・政府関係なく政策を吟味し国民の利益になる場合は賛成、そうでない内容では反対する是々非々主義、国民の利益を重視する国家主義を唱えた。この思想は貴族院のほとんどの有力者が掲げ、貴族院全体が目指す普遍的な目標であり、谷は同じく政界入りした曾我と、主張が一致する三曜会の領袖近衛篤麿と組んで政争に立ち向かっていった。第1次山縣内閣では自由党と政府の予算を巡る論争が焦点になり、自由党とは約1割削減で妥協して明治24年（1891年）3月2日、衆議院で予算が成立した。ところが、貴族院では予算委員長の谷が予算通過に反対、審議時間が短過ぎること、ろくに予算を検討出来ずそのまま通過させるしかないことを問題にしたが、最初の議会で予算を成立させたい大勢の流れに逆らえず、予算は4日後の6日に貴族院も通過・成立した。次の第1次松方内閣では谷を中心としたグループ結成が進み、谷が12月14日に政費節減（同様の主張を掲げた民党と違い、節減で捻出した財源を地租軽減ではなく国防充実へ振り分けることを主張していた）・政府への批判を込めた「勤倹尚武の建議案」を提出、彼を含むグループは勤倹尚武連と呼ばれ、懇話会の原型が作られた。建議案は親政府派の研究会の抵抗で否決され谷は敗北を悔しがるが、近衛ら三曜会との連携とグループ形成が進み懇話会が結成、貴族院は親政府派の研究会と反政府派の懇話会・三曜会に二分されていった。懇話会は明治25年（1892年）頃に結成されたといわれ（異説あり）、谷を始め曾我・山川など彼と縁が深い人々が集まった。しかし中身は組織としてのまとまりが弱く、各人が勝手に自己主張を言いだす有様で、団結重視の研究会にとても対抗出来なかった。それでも個々人の力量が強いため、議会初期は三曜会と並ぶ貴族院の有力会派として注目されたが、やがて研究会が組織を固めると劣勢に追い込まれていった。内閣との対決姿勢は続き、明治25年2月の内閣が行った第2回衆議院議員総選挙への選挙干渉に対する抗議の建議案を5月に提出、前後して衆議院の民党が提出した決議案と並び両院から不信任を突き付けられたも同然の内閣は動揺、干渉で生じた閣僚との対立を収められず、7月に総辞職した。8月に成立した第2次伊藤内閣では強硬姿勢を緩め、衆議院と政府の仲介を申し出た（政府に却下された）こともあったが、明治26年（1893年）に条約改正問題が上がると対外硬に加わり政府との対決路線に戻り、12月に衆議院が解散されると理由を伊藤に問い質し、民党を弁護し伊藤に抗議している。翌明治27年（1894年）6月の再度の解散にも抗議したが、7月に日英通商航海条約が成立、条約改正が成功した時は明確な反対はしていない。日清戦争が起こると挙国一致の立場から予算通過に尽力し政府に協力したが、明治28年（1895年）の終戦後は反政府に戻り三国干渉と戦後財政を批判、朝鮮公使に三浦を推薦したが、彼が乙未事変を引き起こしたと知ると驚愕している。戦後自由党と内閣が手を組み衆議院が戦後予算を通過したことに反発、軍拡を含めた予算に反対したが通らず、研究会の賛成で予算は貴族院を通過した。明治29年（1896年）に成立した松方正義と大隈の連立政権（第2次松方内閣）でも軍拡予算に反対したが、近衛が松方の推薦で貴族院議長に就任、谷も松方を支持しているため決定的な対立を避け予算を通過させた。代わりに元来主張していた明治30年（1897年）の新聞紙条例の改正は通り、金本位制導入にも積極的に取り組み貨幣法公布に尽力、懇話会・三曜会と谷の威信は増大していった。