Nel 1950 interpretò il ruolo di Doc Erwin Riedenschneider, l'ideatore della rapina su cui è incentrata la trama del film, nel noir "Giungla d'asfalto" di John Huston, accanto a Sterling Hayden, Louis Calhern e alla giovane ed emergente Marilyn Monroe. Per la sua incisiva interpretazione, Jaffe ottenne la Coppa Volpi per la miglior interpretazione maschile alla 15ª Mostra internazionale d'arte cinematografica di Venezia e una candidatura all'Oscar al miglior attore non protagonista. Oltre che per il cinema lavorò anche per il teatro, prendendo parte anche a spettacoli per la televisione, come il medical drama "Ben Casey", di cui girò 127 episodi dal 1961 al 1966, nel ruolo del Dr. David Zorba.