Olympiakos' andre store rival er AEK Athen, en klubb som i førstesak ble en rival etter at Dušan Bajević forlot AEK for Olympiakos i 1996. Bajević hadde ført AEK til nye høyder, og det satte sinnene i kok hos supporterne til de gule da serberen forlot klubben til fordel for Olympiakos. Også mellom PAOK Thessaloniki og Olympiakos er det stort rivalisering. Dette kommer først og fremst av at Olympiakos prøvde å lokke PAOK-helten Giorgos Koudas til klubben midt på sekstitallet. Koudas kom til Olympiakos og gjorde sin debut, men det massive presset fra fansen gjorde at PAOK måtte trekke seg fra handelen. Koudas returnerte til Thessalonki, og er den dag i dag regnet som den største spilleren som noensinne har ikledt seg den svart-hvite drakten med sine 504 seriekamper i løpet av 21 år.