Il PAOK fu fondato nel 1926 a Salonicco per opera di greci rifugiati bellici da Costantinopoli (odierna Istanbul). Fu la squadra succeditrice dell'Hermes Sports Club (), costituita nel 1877 dalla comunità ellenica di Pera, un distretto dell'odierna Istanbul. In realtà il PAOK era aperto a qualunque cittadino di Salonicco, fatto che causò una rivalità con l'AEK Salonicco, l'altra squadra cittadina di ispirazione costantinopolitana, in cui giocavano solo rifugiati. Il logo iniziale del PAOK era costituito da un ferro di cavallo e un quadrifoglio.