Utviklingen begynte i 1955 og startet fra bombeflyet Tupolev Tu-98 (som også har stått modell for Tupolev Tu-22). Tanken var at jager-roboten Bisnovat R-4 skulle fraktes ii bomberommet, men vingespennet på Bisnovat R-4-robotene gjorde det upraktisk. Prototypen Tu-28 fløy første gang i 1959 og ble vist for publikum i 1961 på et flystevne på Tusjino-flyplassen utenfor Moskva. Ved den anledning fraktet prototypen en stor gondol med testutstyr under buken, noe som førte til utallige spekulasjoner blant analytikere fra den vestlige verden. I 1963 begynte serieproduksjonen av det flyet som fikk betegnelsen Tu-128 for å minske risikoen for sammenblanding med det samtidige jagerflyet Jak-28.