Nel 2004 le cose non migliorarono; la vettura non era competitiva e non permise al francese di lottare per ottenere risultati di rilievo. Panis conquistò il primo punto stagionale nel Gran Premio di Monaco, nonostante fosse stato costretto a partire dalla pit lane per un problema alla frizione; il pilota francese approfittò dei molti ritiri per portare la sua vettura a punti, precedendo sul traguardo solo Zsolt Baumgartner con la Minardi. Nel Gran Premio degli Stati Uniti ottenne invece un quinto posto, dopo essersi qualificato in ottava posizione; anche in questa occasione poté approfittare di un elevato numero di ritiri. Tuttavia, la scarsità di risultati rese difficile la situazione all'interno del team: dopo il Gran Premio di Germania, nel quale era stata introdotta una nuova versione della vettura senza ottenere miglioramenti apprezzabili nelle prestazioni, da Matta fu licenziato insieme ad alcuni manager. Dopo una gara piuttosto anonima in Ungheria, Panis colse quello che sarebbe rimasto il suo ultimo punto in carriera nel Gran Premio del Belgio, chiuso in ottava posizione. Nel frattempo, però, il futuro del pilota francese in Formula 1 divenne piuttosto incerto: già dai primi mesi dell'anno avevano cominciato a circolare voci sull'ingaggio in Toyota di Ralf Schumacher a partire dal 2005, trattativa confermata a luglio; poco dopo il team giapponese si accordò anche con Trulli. Nonostante l'ingaggio dell'italiano non fosse stato ancora ufficializzato, a settembre Panis annunciò il suo ritiro dalla Formula 1, firmando un contratto biennale come tester alla Toyota. Il pilota francese disputò il suo ultimo Gran Premio in Giappone, cedendo poi il volante a Ricardo Zonta per l'ultima gara del calendario in Brasile.