直養は当初部屋住みの身であったこともあり、比較的自由な立場で若年期を送った。とりわけ学問に傾倒し、稲葉迂斎らに学んで山崎闇斎の学派（崎門）の影響を強く受けた。家督後はこうした学問上の理念に基づいて積極的な政治を行い、その治世は「安永の治」とも称され、また直養自身も新発田藩中興の英主と讃えられるまでに至った。直養はまず、財政改革に力を注いだ。以前から続く財政難は危機的な状況になっており、直養は勝手方の家老を交代させて、徹底的な財政改革を求めた。この時期にも接待役・普請役の負担や目黒行人坂大火での上屋敷類焼などにより出費は多かったが、徹底した倹約と、領内に課した御用金などによってこれを乗り切り、家臣よりの借り上げ米を一部割り返すことが可能になるまでになった。一方、こうした財政再建のための負担転嫁もあって窮乏しつつあった農村の救済のためには、雑税である万雑（まんぞう）の改革や、実情に応じた土地調査（地改め）、また社倉設置を始めとした飢饉対策などが行われた。家中や領内を対象にした法令の改定・整備も行われた。直養の治世で最も注目されるのが、学問奨励の政策である。直養自身が前述したように好学の大名であり、『勧学筆記』などの著書もある人物であった。藩内にも学問を広く奨励し、安永元年（1772年）には藩校（「講堂」のちに「道学堂」と名付けられる）が設立された。また領内の庶民教育のために、百姓・町人の好学の者を「社講」に任じて町や村で講義をさせた。さらに直養の著作『勧学筆記』や四書五経などを印刷して領内に配布することも行われた。また「医学館」を設立して医学教育を行い、さらに施薬方を置いて貧しい庶民への医療を担わせた。このほか、儒教の理念に基づく祖先祭祀のために祠堂（奉先堂）を設け、歴代の藩主を祀った。藩の正史といえる「御記録」の編纂が始まったのもこの時代である。一方、直養は日本橋西岸の芸者と懇意となったが、立場上頻繁には会えない。そこで天明元年（1781年）秋に、浮世絵師の北尾重政にこの芸者の絵姿を描かせ、自身で長文の賛を書いて双幅に仕立てて愛玩したという逸話も残る。
1909年（明治42年）暮れ、河合徳三郎の身内だった高橋金次郎は、浅草で土建請負業「高橋組」の表看板を掲げて、一家を結成した。1919年（大正8年）11月、河合徳三郎、梅津勘兵衛、倉持直吉、青山広吉、篠信太郎、西村伊三郎、中安信三郎が中心となり、政友会・床次竹二郎（当時は、原敬内閣で、内相）を世話役に、右翼の頭山満を顧問に迎えて、大日本国粋会が、政治外の侠客団として結成された。大日本国粋会は、土建業者を含む博徒の全国的な結集団体だった。1921年（大正10年）1月、河合徳三郎は、大日本国粋会を脱会し、民政党の後ろ盾のもとに、大和民労会を結成した。大和民労会の結成式は、浅草伝法院で行われ、約5000人が集まった。大和民労会の中心メンバーは、土建業系博徒の関根賢（後の関根組組長）、高橋金次郎（高橋組組長）、城迫正一（後の小千鳥組組長）だった。それぞれが、浅草、吉原、向島、下谷を地盤としていた。1922年（大正11年）ごろ、浅草で高橋金次郎は、鼈甲屋一家・一見直吉親分（通称は鼈甲屋）と縄張り争いをしていた。出羽屋の山本周三は、高橋金次郎を応援していた。1922年4月14日夜、鼈甲屋事件が勃発した。同年12月30日、大日本国粋会系田甫一家の青沼辰三郎（後の田甫一家五代目）は、浅草区千束町で、年忘れの賭場を開帳した。高橋組の木村は、青沼辰三郎の賭場に乗り込み、青沼を罵倒した。青沼辰三郎たちは、木村を賭場の外に連れ出し、暴行を加えた。同年12月31日、青沼辰三郎は、豊田吉次郎（青沼の親分である田甫一家四代目・金井米吉の兄弟分）の自宅を訪ねた。木村は、青沼辰三郎が豊田吉次郎の家にいることを知ると、ドスを持って、豊田宅に殴り込んだ。青沼辰三郎は、すでに豊田吉次郎の家を出ていた。木村は、豊田吉次郎の幹部・中島幸太郎をドスで斬った。木村は、青沼辰三郎がいないことを確認すると、豊田吉次郎の家から立ち去った。それを知った青沼辰三郎は、単身で、浅草区新谷町の高橋組・高橋金次郎組長の自宅に、ドスを持って殴り込んだ。青沼辰三郎は、高橋組組員と斬りあった後、高橋金次郎の自宅から逃げた。1923年（大正12年）1月2日未明、高橋組の若衆約50人が、浅草・新谷町に集結した。高橋組の若衆は、喧嘩仕度を整えてから、日暮里町元金杉の田甫一家四代目・金井米吉の家に殴り込みをかけた。同日、大日本国粋会所属の博徒は、田甫一家が高橋組の殴り込みを受けたことを知り、芝区新幸町の関東総本部で、緊急会議を開いた。会議では、大日本国粋会所属の博徒は、すぐに田甫一家に応援し、高橋組に報復することが決まった。警視庁は、大日本国粋会の動きを察知し、非常招集をかけた。愛宕、築地、北紺屋の警官300人を新橋駅、土橋、虎ノ門周辺に配置した。同年1月3日午前2時すぎ、大日本国粋会は、400人の会員を関東総本部に集めて、浅草に向かって出発した。同日午前3時、大日本国粋会の博徒は、警官隊と遭遇し、解散を命じられた。大日本国粋会は、高橋組への報復を断念した。大和民労会は、大日本国粋会の行動を知り、東京市の会員約1万5千人に檄を飛ばした。大和民労会は、下谷区上根岸の大和民労会本部に会員を集め、大日本国粋会と戦うために進んだが、300人の警官隊に取り囲まれて、解散を命じられた。大和民労会も大日本国粋会との戦いを断念した。同月末、洲崎・武部申策の身内・佐久間政雄と大日本国粋会幹事・小島長次郎（通称:茨城長）が喧嘩となった。佐久間政雄は、小島長次郎を斬った。大日本国粋会系の博徒は、小島長次郎が斬られたことを知り、日本刀や短刀を持って、洲崎の遊郭付近の広場に集まった。人数は約140人に達した。佐久間政雄は、大和民労会に駆け込んで、助けを求めた。大和民労会は、160人を集め、日本刀や短刀を用意し、自動車20台に分乗して、洲崎の遊郭付近の広場に乗りつけた。大和民労会と大日本国粋会は斬り合いとなった。1925年（大正14年）3月、大和民労会と大日本国粋会は、抗争事件を起こし、両者合わせて160人が検挙された。三社祭に度々介入しており、この件では逮捕者も出している。