时日本的陶艺品相对落后，两人合谋将大明及高丽的日常茶器当作高级品在日本出售，尤其是以武士及公家阶层当作主要顾客群，被发觉后一逃一切腹。吕宋助左卫门在堺为自己建立了一座十分豪华的和式住宅，过着十分奢侈的生活。这引起了一些权贵的不满。1598年，文治派石田三成向丰臣秀吉进谗，秀吉以其邸宅超越其身分为由，决定没收他的别墅。吕宋助左卫门事先得知了这件事，将自己的邸宅和财产捐给大安寺(寄进、寄付为捐献之意，后成为堺市大安寺)，自己则逃出日本，避难于吕宋的一个日本人街(日本人町)里，成为海盗。另一种说法是，吕宋助左