El Yak-28P se retiró a principios de la década de 1980, pero el entrenador y otras versiones permanecieron en servicio hasta después de la caída de la Unión Soviética, volando hasta al menos 1992. Los aviones de reconocimiento y ECM fueron finalmente reemplazados por variantes del Sukhoi Su-24.