Klubben ble stiftet i 1987 av og andre gjestearbeidere fra Albania som spilte fotball på Tøyen i slutten av 1980-årene. Tre år senere spilte Rilindja sin første offisielle kamp i 9. divisjon av ligasystemet i Norge.