Panis ble hos Toyota også i 2004, som var hans tiende sesong i Formel 1. I oktober 2004 bekjentgjorde han at han hadde til hensikt å trekke seg tilbake fra racing etter Japans Grand Prix, og at han planla å fortsette for Toyota som testfører i 2005 og 2006. Før han sluttet var han med sine 37 år den eldste aktive føreren i F1. I 2004 scoret han igjen bare 6 poeng, før han til Brasils Grand Prix ble erstattet av sin brasilianske lagkamerat, testføreren Ricardo Zonta.