En 2004, revenue à un niveau moyen, la Williams ne permet pas à Ralf de briller. Plus grave, il est victime d'un violent accident dans les premiers tours du GP des États-Unis à Indianapolis, le 20 juin. Dans le virage relevé de l'ovale, le plus rapide du circuit, l'un de ses pneus crève et la Williams heurte le mur ceinturant la piste avec une très grande violence, par l'arrière. La décélération est telle que Ralf perd connaissance, et plusieurs minutes interminables s'écoulent avant que les secours n'atteignent enfin la voiture (une intervention très tardive qui sera dénoncée par de nombreux observateurs). Relevé avec plusieurs vertèbres fracturées, Ralf doit observer une longue convalescence et ne fait son retour à la compétition que pour les trois dernières manches de la saison. En signant une probante deuxième place sur le sélectif tracé de Suzuka, Ralf évacue tous les doutes sur sa capacité à piloter au plus haut niveau et rassure du même coup son futur employeur Toyota avec lequel Ralf s'était engagé peu de temps avant son accident.