Az olasz Osella istállónál kapott lehetőséget, de nem a teljes szezonra, hanem csak nyolc futamra. A gyengécske konstrukciótól nem lehetett sokat várni, és a papírformának megfelelően az első négy futamot nem is sikerült befejezni. Hármat műszaki hiba, egyet pedig ütközés miatt kellett feladnia. A holland nagydíjon végül sikerült célba érnie, mégpedig a tizennegyedik helyen, de a két Tyrrell kizárását követően végül tizenkettediknek rangsorolták. Az ezután következő olasz nagydíjon, Monzában miután a mezőny nagy része műszaki hibák illetve üzemanyaghiány miatt feladni kényszerült a viadalt, Jo az Osella-Alfa FA1F-est az ötödik helyre hozta be. Ám sem ő, sem a hatodikként célba érő honfitársa, Gerhard Berger nem kapott pontot, ugyanis csapataik csak egy autót neveztek a világbajnokságra. Az Osella Gartner pechére nem az övét, hanem a jóval rutinosabb és ezért a csapat reményei szerint jobb eredményre képes olasz Piercarlo Ghinzaniét nevezte. Tehát Jo és az autója hivatalosan be volt nevezve, ám az értékelésbe nem számított bele a teljesítménye. Még két versenyen kapott abban az évben lehetőséget Enzo Osellától, mindkettőn műszaki hiba miatt esett ki és 1984 végén elköszönt a Formula–1-től, miután a Toleman csapattal nem tudott egyezségre jutni.