为家老，积极改革行政与农政。作为包含开垦新田、发展农业，又在奄美大岛和德之岛建立砂糖专卖制度，只许当地百姓种植砂糖，不许种植其他作物，所生产的砂糖由萨摩藩征收。广乡的政策在他晚年已经大为缓解了萨摩藩的财政危机。后来，在岛津齐彬和岛津久光争夺藩主位的御家骚动中，调所广乡深恐齐彬崇洋尚武的作风会再度重创藩内财政，因此支持齐兴和久光这一派，最终导致由罗骚动。为了打击齐兴和久光一派，齐彬决定与幕府老中阿部正弘联手，并向幕府告发了调所广乡在坊津同琉球、清国之间有走私贸易，以及在奄美群岛私自违法从事砂糖贸易。根