危機的な状況の藩財政立て直しのため、重豪がまず改革責任者として選んだのは大坂藩邸の金方物奉行であった新納時升であったが、新納は重豪の要請を断った。新納は財政改革の適任者について、自分は大坂商人との付き合いが深く、これまでの恩を仇で返すことは出来ない。これまで大坂の人と縁が無い人物が行うのが良いと述べていた。新納が断った後、改革責任者に選ばれたのが側用人の高橋甚五兵衛であった。しかし高橋の改革への取り組みは挫折する。
改革責任者として.
改革責任者となった調所の生活は一変する。前述のように調所は生活が派手で、もともとの職務であった茶花の他、相撲、囲碁、将棋そして詩歌といった多彩な趣味を持っていた。しかし改革に携わるようになると全ての趣味を止め、部下がそのような趣味を持つことすら嫌った。
成果を挙げる改革と出世.
調所が主導する改革は徐々に成果を挙げていく。責任者に就任した当初は改革に反発して調所を憎む者も少なくなかったが、徐々に人心も落ち着いていき、危機的な状況に遭った藩財政も持ち直して臨時の出費にも対応できるようになった。
やがて、斉興の後継を巡る島津斉彬と島津久光による争いがお家騒動（後のお由羅騒動）に発展すると、広郷は斉興・久光派に与する。これは、聡明だがかつての重豪に似た蘭癖の斉彬が藩主になることで再び財政が悪化するのを懸念してのことであると言われている。
斉彬は幕府老中・阿部正弘らと協力し、薩摩藩の密貿易（藩直轄地の坊津や琉球などを拠点としたご禁制品の中継貿易）に関する情報を幕府に流し、斉興、調所らの失脚を図る。
死後、広郷の遺族は斉彬によって家禄と屋敷を召し上げられ、家格も下げられた。葬所は養父清悦と同じ江戸芝の泉谷山大円寺。法号は全機院殿敷績顕功大居士。現在の墓所は鹿児島市内の福昌寺跡。
評価.
明治維新の実現は薩摩藩の軍事力に負うところが大である。幕末期に、薩摩藩が他藩と異なり、新型の蒸気船や鉄砲を大量に保有するなどできたのは、薩摩藩の財政を再建した広郷の功績と言える。