官书《崇祯长编》载：「初，海寇郑芝龙先从海贼颜枢泉；枢泉死，遂有其众。」根据这些记录，认为颜思齐真有其人。另有学者根据荷兰东印度公司史料判断，颜思齐是李旦的二把手，负责李旦在台湾的活动和实际运作李旦的武装集团。目前关于颜的资料多来自具有小说性质的清江日昇《台湾外记》。该书描述，颜思齐精于武艺，早年因遭宦家之辱，杀其仆人而逃往日本。在日本数年之后，家境逐渐富裕，又仗义疏财，广交豪杰，号称日本甲螺（头目）。当时的华人至日本经商，多至长崎，而长崎的华商之中，又以福建泉州晋江人的船主杨天生与颜思齐最要好。因见当