巨済島は昔は岐城といったことから、巨済潘氏を岐城潘氏ともいう。始祖は高麗で倭寇を討伐した功績で巨済府院君に封ぜられた潘阜である。その玄孫は王禑の代左侍中になり、潘益淳の子は王の代、門下左侍中、賛成事を歴任した。朝鮮では中宗反正に参加して礼曹判書・刑曹判書・都摠管を歴任したがいる。また壬辰倭乱で功を立てた潘国海、正祖の代の潘献、日本の国権侵害に反発し割腹した、潘名儒、潘東翼などがいる。