Fabi palasi takaisin Formula 1 -sarjaan kaudeksi 1984, tällä kertaa Brabham-tallissa, mutta jatkoi edelleen myös CART-sarjassa. Tämän vuoksi kolmessa F1-kilpailussa Teon tilalla ajoi hänen veljensä Corrado Fabi, Teon ollessa ajamassa CART-kilpailua. Teo Fabi ajoi kerran kolmanneksi, saavutti kaksi muuta pistesijaa ja sijoittui 9 MM-pisteen turvin kuljettajien MM-sarjassa sijalle 12. Maaliin Fabi ylsi neljä kertaa. Seuraavaksi kaudeksi Fabi siirtyi takaisin Toleman-talliin, jossa oli aloittanut F1-uransa. Kausi sujui edellisvuotta heikoimmin ja Fabi ei saavuttanut yhtään MM-pistettä, mutta valtasi kertaalleen paalupaikan.Parhaimmillaan Fabi oli kahdestoista Italian GP:ssä.