ドイツにおいては、ナチス党が自由選挙で国民の支持を受けて政権を獲得した後の1935年に、ロマを「劣等民族」と見なす法律が施行された。ロマの選挙権は剥奪され、非ロマとの結婚禁止、商売の禁止、学校入学の禁止、ドイツ国内での移動禁止などが主な内容である。その後ロマは強制移住や強制労働政策の対象となり、収容されたロマには優生学的な観点から、強制的断種手術が行われた。当時のドイツ政府は、ロマがアーリア系であることは知っていた。「アーリア主義」を掲げるナチス党政権がロマ撲滅を図ったのは、ロマがドイツ人と相いれない生活習慣を持つため、「アーリア系の面汚しであり、劣った異民族の血が混じっているに違いなく、放置すればドイツ人の血が汚される」と考えたためである。第二次世界大戦によりドイツの占領地域が広がると、ドイツは再び多数のロマを抱えこむことになった。当時のドイツ政府が「最終解決策」と呼んだ政策で、ロマはユダヤ人のホロコーストと同様に虐殺の対象とされた。これはポライモスと呼ばれている。正確な数は不明であるが、戦争中に約50万人のロマが殺害されたとされる。強制収容所への移送を待たずに現地で殺害されたものも多かった。ナチス親衛隊特別行動部隊「アインザッツグルッペン」が東欧の占領地域に派遣され、ユダヤ人、共産党員、ソ連軍捕虜とともに、多数のロマが殺害された。ドイツ政府による被害にともなう戦後補償について、現在もロマはユダヤ人より不利な扱いを受けている。
1761年、オーストリアではマリア・テレジアとヨーゼフ2世の近代化政策の一環として、ロマの定住化が図られた。ロマの青年に対して徴兵や職業訓練をおこなうとともに、領主への従属や納税の義務を課し、ロマ同士の結婚を禁じ、ロマの子はロマではない家庭に入れて育てることとした。これらは啓蒙主義に影響された、ある意味でロマへの差別をなくすことを目的とした人道的な同化策だったが、定住や（ヨーロッパ人の考える）文化的な生活の押し付けとなり、ロマたちの拒否するところとなった。1773年にプロイセンのフリードリヒ大王がロマを隔離して定住させようとしたが、結局失敗している。一方、ポルトガルは1647年にはアフリカの植民地に、1686年には南米の植民地ブラジルにロマの開拓団を送った。イギリスも植民地のアメリカやジャマイカにロマの開拓団を送っている。
初期のロマは、神聖ローマ皇帝ジギスムントにより巡礼者として帝国全土の自由な通行を許可されたと称し、いわゆる『皇帝ジギスムントの特許状』を保証として各地を放浪した。しかし15世紀中頃には彼らに対する蔑視が始まり、特にユダヤ人と彼らを同類とする風説が現れ、18世紀に至るまで広く流布した。1500年には神聖ローマ皇帝マクシミリアン1世によって『皇帝ジギスムントの特許状』は無効であるとされ、ロマを殺しても基本的には罪に問われないこととなった。ロマが放浪する犯罪者の温床と考えられ、都市では彼らが現れたら教会の鐘を鳴らして合図し排撃した。1499年にはスペインがロマの入国を禁止し、国内のロマは4日以内に退去するか、60日以内に定住して主人に仕えなければ鞭打の刑にして追放するとの勅令が出た。16世紀半ばにはイギリスの各地の地方自治体もロマに退去命令を出した。1561年にはフランスのシャルル6世がロマを2ヶ月以内に領土から追放するよう命令を出した。この命令に従わないロマは頭髪を剃り落とされ、罪人として晒し者にされ、ガレー船の漕手として3年間の重労働に服さなければならなかった。1596年にはイギリスで放浪中のロマ196人が捕縛され、うち106人が死刑の宣告を受けた。このうち9人が実際に死刑となり、残りは出身地に連れ戻された。1714年にはドイツでマインツの大司教がロマに対して裁判抜きの処刑・鞭打・追放・重労働を命じた。
嘉永2年（1849年）1月5日、丹波国山家藩主・谷衛滋の庶子として生まれる。一説に、常陸府中藩主・松平頼説の三男・頼功の三男とする説もある。慶応3年（1867年）12月に黒羽藩15代藩主・大関増裕の死去により、慶応4年（1868年）3月5日に養子として家督を相続する。戊辰戦争では新政府に恭順した。11月21日に従五位下美作守に叙位任官する。明治2年（1869年）6月2日、新政府より永世賞典禄として1万5000石を与えられる。6月22日には版籍奉還により黒羽知藩事に任じられ、明治4年（1871年）7月14日の廃藩置県で知藩事を免職され、8月15日に東京へ移った。明治5年（1872年）2月にアメリカへ留学し、明治6年（1873年）に帰国。明治7年（1874年）に大講義に任じられた。明治17年（1884年）7月8日、子爵を叙爵。明治18年（1885年）7月12日に勲四等、明治20年（1887年）12月26日に正五位、明治25年（1892年）に従四位、明治30年（1897年）7月22日に正四位、明治36年（1903年）6月30日に従三位、明治38年（1905年）8月8日に正三位勲三等に叙され、瑞宝章を授与される。8月9日に東京帝国大学病院で死去した。享年57。