本中央政权的幕府当局开始整顿对外贸易，推行朱印船（特许贸易船）制度以掌控贸易通路，又对西洋人，以及为经商而到日本的华人之活动范围加以限制，致使华人海商集团在日本不再有利可图。由此观之，日本政治权力结构的变化可能才是颜思齐等人离开日本的原因。而康熙年间的郑亦邹记载，颜思齐因为聚众势大，遭幕府怀疑对己不利，被逐出日本。
来台.明天启四年(甲子，1624年)，颜思齐领十三艘船只来到台湾魍港为据点，开始海上为盗。传说颜思齐离开日本后，聚集三千余漳泉贫苦人民先后渡台，并在魍港作为据点，除海上