Første gang pamfyliene nevnes i historien som et folk blant andre folk er som underkastet av mermnadkongene i Lydia. Senere havnet de etter hverandre under persiske og hellenistiske monarker. Etter at Antiokos III den store led nederlag i 190 f.Kr. ble pamfyliene inkludert blant de provinser som ble annektert av romerne og gitt videre til Eumenes II av Pergamon. Senere slo de seg sammen med folk i Pisidia og Kilikia for å drive plyndring og sjørøveri. Oldtidshavneby Side ble et hovedsenter og slavemerked for denne aktiviteten. Pamfylia ble for en kort tid inkludert i besittelsene til Amyntas av Galatia, men ved hans død ble det omgjort til en romersk provins. Pamfyliene ble i stor grad hellenisert i romersk tid, og har etterlatt storslåtte minnesmerker av deres sivilisasjon ved Perga, Aspendos og Side.