Han var den nominerte tredjeføreren for Toyota i Frankrike i 2005, men dette var siste gang han deltok i konkurransesammenheng i en Grand Prix-weekend. Den 18. september 2006 annonserte Panis at han sluttet for godt i F1 for å kjøre i andre grener av motorsport. Hans siste tur som Formel 1-testfører fant sted på Jerez i Spania 14. desember 2006.