Klubben ble stiftet i 1890, og hørte først hjemme i Smyrna (nå İzmir, Tyrkia). Etter den gresk-tyrkiske konflikten i 1919–1922 flyttet klubben til Athen og forstaden Nea Smyrni (Nye Smyrna). Panionios gjenopptok sine aktiviteter, og har på over hundres år vært deltakende i gresk høyeste divisjon, med bare et par unntak. Beste ligaplassering kom i 1971, da klubben ble nummer to etter AEK.