起了一些权贵的不满。1598年，文治派石田三成向丰臣秀吉进谗，秀吉以其邸宅超越其身分为由，决定没收他的别墅。吕宋助左卫门事先得知了这件事，将自己的邸宅和财产捐给大安寺(寄进、寄付为捐献之意，后成为堺市大安寺)，自己则逃出日本，避难于吕宋的一个日本人街(日本人町)里，成为海盗。另一种说法是，吕宋助左卫门所献的吕宋壶实为当地人的夜壶，然而丰臣秀吉却把它当作珍贵茶壶使用。后来秀吉得知真相大为光火，欲惩罚助左卫门。助左卫门遂流亡吕宋。1607年，西班牙的势力进入柬埔寨后，吕宋助左卫门前往柬埔寨。他得到了国王的信