Toujours chez Williams en 2004, Montoya effectue une saison relativement terne, due à l'échec de l'étonnante Williams FW26 et à ses relations délicates avec la direction de l'écurie. Se sachant en partance à la fin de l'année, Montoya ne montre pas toujours la motivation nécessaire à la bonne marche de l'équipe. Il quitte Williams sur une victoire à l'occasion de l'ultime Grand Prix de la saison au Brésil.