El PAOK va ser fundat el 28 d'abril de 1926 a Salònica, per ciutadans d'origen grec expulsats a inicis dels anys 20 de Constantinoble a Turquia degut a la Guerra greco-turca. El club es considera hereu del Hermes Athletic and Cultural Association, club esportiu fundat a Constantinoble l'any 1875.