朝鲜能通过对中国的朝贡贸易和国境贸易获得大量中国绢。对马藩因此通过倭馆贸易从朝鲜买入丝绸，垄断了日本的丝绸贸易，获得了巨额利益。对马藩虽然是外样大名，但该藩的实际俸禄高达十万石以上，比其他外样大名高。然而18世纪日本的绢生产技术得到了提高，购入的中国丝绸数量开始减少，釜山的倭馆贸易受到了冲击。虽然朝鲜禁止向日本人传授种植人参的方法，但后来日本国内仍旧成功栽培了人参。另一方面，日本国内银产量锐减，银的输出被禁止，铜和金成为主要输出品。因此在18世纪以后，倭馆贸易就衰退了。
倭馆的废