年（1790年）55歳时遭密告超额私酿酒品，虽经查明系属下宫崎屋的单纯过失造成的不实指控，但蒹葭堂仍因监督不周之责遭到了免除町年寄役一职的不名誉处分(后世一般认为这是宽政改革期间打击大坂商人势力的行为)，遭此打击的蒹葭堂因此一度离开大坂，接受曾受教于他的伊势长岛城主増山雪斎的蔽护移居伊势长岛川尻村，2年后重返大坂后在船场吴服町改经营文具店生意，并成功的在商界东山再起。享和2年（1802年）去世。享年67。死后其庞大的藏书由幕府开设的公立学校昌平坂学问所接收，目前其中的一部仍由日本内阁文库继承收藏。