Na twee plaatsen in de middenmoot streed de club in 1978 tot op de laatste speeldag mee voor de titel. Het lot bepaalde dat SKA Rostov uit tegen rechtstreekse concurrent Krylja Sovetov Koejbysjev moest. Krylja Sovetov won duidelijk met 4-1, maar SKA promoveerde wel evenzeer. In het eerste seizoen kon de club het behoud verzekeren en in 1980 werden ze zelfs negende. In 1981 eindigde de club in theorie één plaats boven de degradatiezone, maar Pachtakor Tasjkent, dat laatste eindigde, was drie jaar vrijgesteld van degradatie nadat hun team om het leven was gekomen in 1979 in de Vliegtuigbotsing bij Dnjeprodzerzjinsk, waardoor SKA toch degradeerde. Lichtpunt dat jaar was de bekerfinale, die ze voor de derde keerde wisten te bereiken. Nadat onder andere Ararat Jerevan en Dinamo Moskou opzij gezet werden trof de club in de finale Spartak Moskou. Voor meer dan 80.000 toeschouwers scoorde Sergej Andrejev het winnende doelpunt in de 85ste minuut waardoor SKA hun eerste grote prijs pakten in de clubgeschiedenis. Hierdoor mocht de club, als tweedeklasser, deelnemen aan de Europacup II, waar het Turkse Ankaragücü in de eerste ronde makkelijk verslagen werd. In de 1/8ste finale botste de club op het Duitse Eintracht Frankfurt. Thuis werd nipt met 1-0 gewonnen, maar in Frankfurt verloren ze met 2-0 en waren ze uitgeschakeld. Na een elfde plaats werden ze in 1983 vicekampioen achter Kairat Alma-Ata en promoveerde opnieuw naar de hoogste klasse.