传说潘姓的由来，是有位潘大老，从唐山来台湾平番（因是传说，所以没有明确的时间与姓名）。但其军夫，都是招募平埔族人，后来相处久了，大家产生了感情，潘大老就说你们也没有姓，不如就来跟我姓潘，大家同意了，这就是平埔族潘姓的由来。据说目前新北市石门区老梅、苗栗、屏东、埔里与北投潘姓的平埔族人，都是同一因缘而姓潘的。