天保6年（1835年）8月20日、正義は、幕府より召喚の命を受けて、同年9月24日江戸に戻った。正義の事業で大きな負担を強いられた富豪の一人が、不満を持つ者たちの代表として幕府に直訴したためであった。正義が江戸に戻ると、幕府による審問が行われた。しかし、正義の功績を評価していた幕府は、最終的には正義に日田帰任を勧めた。だが、この頃の正義は高齢もあって体力が落ちており、この一件で気力も失い、もはや西国郡代を続けられるような心身の状態ではなくなっていた。そして、正義の子である正路が、正義の江戸在勤を幕府に願い出て受理され、正義は、西国郡代の任を解かれ、天保7年（1836年）3月4日に江戸城二の丸留守居役を命じられた。そして同年9月8日、牛込の自宅において家族に看取られ、68歳で正義は没した。
ただ、そのように理不尽な事もあったが、正義が信念を以て教育などに取り組んでいた事は事実であり、天保5年（1834年）に宇佐郡に目が不自由な人々を支援するために、生活に余裕のある人たちから応分の寄付を得て六町歩の水田を購入し、年貢分を除いた36石をその養育費に充当するなど、福祉にも功績を残した。
咸宜園は、広瀬淡窓による私塾であったが、正義は、何度かこれを代官管轄の官学にしようと干渉を行った。淡窓は、これを官府の難と言って恐れ、淡窓自身が書いた懐旧楼筆記に「近年官府の災難頻り（しきり）に起こり」と記している。最終的には、淡窓は咸宜園の私塾の地位を守り続けたが、干渉の中には、正義の家来である宇都宮正蔵の次男茂知蔵が学業を怠った事を理由に淡窓が叱責すると、ちょうど茂知蔵の父親である正蔵が亡くなった時期とも重なり、「父無し子になった茂知蔵をしりぞけた」と淡窓を問責するという理不尽なものもあった。
小ヶ瀬井路の工事が完了すると同時の文化8年（1825年）4月から正義は、三隈川の通船工事に着手した。玖珠郡の年貢米の輸送を容易にするための工事で、同時に日田地方の年貢米の積み出しを目的として、花月川や中城川の堰造りも含めた通船工事も竣工させた。広瀬淡窓の弟である広瀬久兵衛（博多屋久兵衛）を中心として進められ、これらの工事は順調に進み、同年の12月に竣工を果たした。同時期、同時並行で八代領から7～8人の舟子を雇い船の建造も行い、水運を活発にした。この工事が行われた文政8年（1825年）12月7日、嫡男正路が小納戸役に抜擢された。
文政5年（1822年）5月9日に日田に帰任した正義だったが、帰任の翌年の文政6年（1823年）7月14日に、まだ23歳と若かった嫡男正路の嫁が亡くなり、さらに翌年の文政7年（1824年）11月12日には、日田陣屋の居間の拡張工事を終えたばかりの正義に実母の訃報が日田に届くなど、身内の不幸が相次いだ。
文化9年（1812年）12月、正義は支配地の場所替えを命じられ、摂津・播磨の天領を支配する代官となり、任地も大阪谷町に移った。支配地の石高規模は、任地替え以前と同様であったが、文化12年（1815年）4月には、大坂堤奉行・廻船改役・御蔵取締も命じられ、大都市大坂の治水、水運、金庫の管理も正義に任されるようになっていた。そして、その翌年の文化13年（1816年）8月29日、さらに支配地が1万石増やされるとともに、再び任地替えを命じられ、豊後国の日田の代官となった。
代官に任命された正義は、同年8月3日、丹後国久美浜陣屋に妻かねと共に赴いた。これに先立つ7月、正義は、任地に赴く前の身辺整理に伴い、塩谷家の先祖代々の墓を新たに立てて先祖供養している。その翌年の享和元年（1801年）1月28日には、任地で嫡男捨五郎（正路）が誕生した。この地でも正義は、民政を重視し、夜間になって支配地内を密かに巡視し、民情把握に務めた逸話が残るなど、昼夜を問わない働きで着々と実績を積み重ね、文化2年（1805年）5月には、美作国1万石の天領が加増され、合わせて6万石を支配する代官となった。美作国を加増された正義は、美作国吉野郡で間引きという悪習が続いている事を知り、これを改めるために、貧しい人々の生活を支援するために基金を設立している。
創業者の髙野匡央により、1949年に大阪・船場にて「越前屋」として創業する。設立当初から紳士用スーツではなく、男性用スラックスでスタートした会社としてその名を知られている。ドレッシーなスラックスとして知られるイギリスのDAKS（同ブランドのゴルフ用パンツも、日本では同社が取り扱っている）やアメリカのサクソン（同社が長崎県松浦市に構える工場において生産されるスラックスには、「マツーラ」なる名が冠されている）アメリカの有名誌「ペントハウス」とコラボレートした同ブランドのスラックスや、自社ブランドのカルツォーニ・ランブリングなどがある。他にもアメリカのゴルフクラブメーカー、クロイドンとのコラボレートで同ブランドのゴルフ用パンツを製造している。また女性向けパンツとして、自社ブランドのP.T.N.やLEG JOYやE・C・Pなどがあったが、2009年をもって女性用は生産を終了した。2007年3月より同社の旧社名を冠したブランド「越前屋」のスラックスを販売を開始した。この製品は完全受注生産品である。他にも同年、自社ブランドの「KEYWEST」を、初めてスラックス以外のトータルカジュアルブランドとしてリスタートさせている。