PAOK Thessaloniki versteht sich als Nachfolge des bereits 1875 im Istanbuler Stadtteil Pera gegründeten Vereins "Hermes Club Pera" (gr.: "Ερμής"), der seine Aktivität als Folge der Griechenverfolgungen und damit verbundener Vertreibungen nach dem Griechisch-Türkischen Krieg einstellen musste. Die Vertriebenen gründeten in Thessaloniki den Verein "P.A.O.K." am 20. April 1926. Emblem der Mannschaft ist der Doppelkopf-Adler, das Hauswappen des Byzantinischen Reiches. Allerdings hat dieser, aus Trauer über den Verlust der Heimat, die Flügel angelegt. Die Vereinsfarbe Schwarz steht für ebendiese Trauer, das Weiß für die Hoffnung auf eine bessere Zukunft. Das erste Wappen des Vereins war ein vierblättriges Kleeblatt. Auf jedem einzelnen Kleeblatt stand jeweils ein Buchstabe des Vereins, welches durch ein Hufeisen eingefasst war. Erst nach der Fusion mit AEK Thessaloniki im Jahr 1929 bekam der Verein den Doppelkopf-Adler. Der erste Präsident des Vereins war Triantafilos Triantafillidis. PAOK spielte sein erstes inoffizielles Spiel am 4. Mai 1926 im Thermaikos Stadion und gewann gegen "Megas Alexandros Thessaloniki" mit 2:1. Das erste offizielle Spiel fand am 12. Dezember 1926 statt. "Nea Genea" konnte mit 3:1 geschlagen werden. In der Saison 1930/31 debütierte PAOK in der Pan-Hellenischen Meisterschaft und spielte das erste Mal gegen Olympiakos Piräus. Am Ende der Saison stand man auf dem 5. Platz. Im Jahr 1937 gewann der Klub seine erste Trophäe. Der Verein holte die erste Thessaloniki-Stadtmeisterschaft und qualifizierte sich infolgedessen für die Griechische Meisterschaft, welche mit dem zweiten Platz beendet wurde.