所广乡出身下级武士家庭，其父为城下士川崎主右卫门基明（兼高）。1788年，成为另一个城下士调所清悦的养子，出仕茶道职。1798年，前往江户时，受前藩主岛津重豪赏识其才能，并拔擢为藩士。后来调所广乡辅佐藩主岛津齐兴，历任使番、町奉行等职，兼任小林乡地头、鹿屋乡地头、佐多乡地头职。当时萨摩藩背负着巨大的财政赤字，欠债五百万两，广乡必须致力于恢复萨摩藩的经济，于是与琉球、清国暗中实施走私贸易。他以利诱为手段，给予萨摩藩的商人前往琉球和清国走私贸易的特许；又使用刑法为手段，逼迫借钱给藩的商人同意250年之内无息