关于颜的资料多来自具有小说性质的清江日昇《台湾外记》。该书描述，颜思齐精于武艺，早年因遭宦家之辱，杀其仆人而逃往日本。在日本数年之后，家境逐渐富裕，又仗义疏财，广交豪杰，号称日本甲螺（头目）。当时的华人至日本经商，多至长崎，而长崎的华商之中，又以福建泉州晋江人的船主杨天生与颜思齐最要好。因见当时的日本江户幕府文恬武嬉，暮气沈沈，颜思齐遂与杨天生、郑芝龙、李德、洪升、陈衷纪等二十六人结拜，预备造反。结果事情败露，出亡海上，陈衷纪建议逃往台湾。不过上述颜思齐密谋推翻日本幕府政权的传说，史界多认为系小说笔法，