P.A.O.K. har sine rødder tilbage til Konstantinopel, hvor nogle fra byens store græske befolkningsgruppe oprettede idrætsklubben "Hermes". Efter den Græsk-tyrkiske krig (1919-1922) blev store befolkningsgrupper udvekslet mellem de to lande; 1,5 mio grækere blev udvist fra Tyrkiet og mange af dem kom til Thessaloniki, herunder folk som havde været aktive i "Hermes". For at markere tilknytningen til Konstantinopel dannede de en idrætsforening, hvor byen indgik i navnet.