Kauden 1991 piti olla läpimurto, mutta se jäi kauaksi siitä, koska Porschen moottorit olivat ylipainoisia ja alitehoisia ja Caffi karsiutui kauden neljästä ensimmäisestä kilpailusta. Sitten hän loukkaantui tieliikenneonnettomuudessa murtaen leukansa ja joutui jättämään neljä seuraavaa kilpailua väliin. Paluu F1-kilpailuihin sujui heikosti, kun Caffi karsiutui kuudesta ensimmäisestä kilpailusta, kunnes vihdoin Japanissa pääsi kilpailuun ja hankki kauden parhaan sijoituksen olemalla kymmenes. Hän saavutti vielä päätöskilpailusta 15. sijan, mutta sopimusta seuraavalle kaudelle ei tullut, vaan hänen paikalleen tuli Aguri Suzuki.