不过上述颜思齐密谋推翻日本幕府政权的传说，史界多认为系小说笔法，不足採信；除无任何史料佐证，其情节也不吻合日本正史：江户时代以来，原本以平户等离岛为集散地的日本对外贸易，渐渐不能再由松浦家等地方势力垄断；掌握日本中央政权的幕府当局开始整顿对外贸易，推行朱印船（特许贸易船）制度以掌控贸易通路，又对西洋人，以及为经商而到日本的华人之活动范围加以限制，致使华人海商集团在日本不再有利可图。由此观之，日本政治权力结构的变化可能才是颜思齐等人离开日本的原因。而康熙年间的郑亦邹记载，颜思齐因为聚众势大，遭幕府怀疑对己不利