彬和岛津久光争夺藩主位的御家骚动中，调所广乡深恐齐彬崇洋尚武的作风会再度重创藩内财政，因此支持齐兴和久光这一派，最终导致由罗骚动。为了打击齐兴和久光一派，齐彬决定与幕府老中阿部正弘联手，并向幕府告发了调所广乡在坊津同琉球、清国之间有走私贸易，以及在奄美群岛私自违法从事砂糖贸易。根据江户幕府的规定，严禁走私贸易及禁制品出口；日本的砂糖由大坂的砂糖问屋统一管理，故而其在奄美造砂糖的行为也属违法。1848年，调所广乡前往江户出仕之际，阿部正弘便将其逮捕，纠问此事。同年12月，广乡在萨摩藩上屋敷芝藩邸突然死去，