Flyet var ved første blikk svært likt Jak-25, men det var et helt nytt design. Den første varianten var en bomber/taktisk angrepsfly, mens den senere varianten Yak-28P var modifisert som en allværs-jager med førerkabin for to. Denne varianten ble designet for å operere i lav og medium høyde, og var utstyrt med en Orel radar. Det var i tillegg bevæpnet med luft-til-luft missiler. Flyet ble også oppgradert ved at motorene fikk etterbrennere. NATO kallenavnet på denne varianten var «Firebar».