师乃至大名以其为中心，发展出如同近代欧洲沙龙般的艺文交流圈。然而蒹葭堂本人在寛政2年（1790年）55歳时遭密告超额私酿酒品，虽经查明系属下宫崎屋的单纯过失造成的不实指控，但蒹葭堂仍因监督不周之责遭到了免除町年寄役一职的不名誉处分(后世一般认为这是宽政改革期间打击大坂商人势力的行为)，遭此打击的蒹葭堂因此一度离开大坂，接受曾受教于他的伊势长岛城主増山雪斎的蔽护移居伊势长岛川尻村，2年后重返大坂后在船场吴服町改经营文具店生意，并成功的在商界东山再起。享和2年（1802年）去世。享年67。死后其庞大的藏