Le PAOK Salonique se considère comme le continuateur du club sportif et culturel Hermès Sport Club qui avait été fondé par des Grecs de Constantinople en 1875. Avec les échanges de population entre la Grèce et la Turquie après la fin de la Guerre gréco-turque de 1919-1922, des membres de cette association se réfugient à Thessalonique, où ils fondent le PAOK Salonique. Après une fusion en 1929 avec l'AEK (« Union athlétique de Constantinople »), un autre club local de réfugiés, le PAOK adopte comme écusson l'aigle à deux têtes, l'un des symboles de l'Empire byzantin, qui évoque les origines historiques du club.