为经商而到日本的华人之活动范围加以限制，致使华人海商集团在日本不再有利可图。由此观之，日本政治权力结构的变化可能才是颜思齐等人离开日本的原因。而康熙年间的郑亦邹记载，颜思齐因为聚众势大，遭幕府怀疑对己不利，被逐出日本。
来台.明天启四年(甲子，1624年)，颜思齐领十三艘船只来到台湾魍港为据点，开始海上为盗。传说颜思齐离开日本后，聚集三千余漳泉贫苦人民先后渡台，并在魍港作为据点，除海上寇略外，也从事开发，防备原住民，为华人开拓台湾之始。明郑及清初的「诸罗外九庄」留有颜氏开垦的遗迹。