Kaudella 2004 Montoya ei onnistunut pärjäämään yhtä hyvin kuin edellisellä kaudella. Hän onnistui kuitenkin voittamaan kauden viimeisen osakilpailun Brasiliassa. Kilpailu jäi hänen viimeisekseen Williams-tallissa. Montoya saavutti kauden aikana 58 pistettä sijoittuen MM-sarjan viidenneksi.