En 2004, il hausse sa moyenne au bâton de quelques points pour flirter de nouveau avec les ,300. Il frappe pour ,297 et ajoute 18 circuits, 74 points produits et une quatrième saison consécutive d'au moins 30 doubles. Il est aussi le joueur de la Ligue américaine le plus souvent atteint par un lancer durant la saison, soit 17 fois. Il remporte la Série mondiale 2004 avec les Red Sox. En Séries de divisions où Boston balaie en trois matchs les Angels d'Anaheim, Millar affiche une moyenne au bâton de ,300 avec un coup de circuit et quatre points produits. Dans la ronde suivante, Boston effectue un ralliement sans précédent dans la Série de championnat de la Ligue américaine en perdant les trois premières parties face à leurs éternels rivaux, les Yankees de New York, avant d'aligner quatre victoires consécutives. À trois retraits de l'élimination dans le quatrième affrontement, Millar soutire un but-sur-balles au stoppeur vedette Mariano Rivera en neuvième manche pour lancer le ralliement des Sox. Il est remplacé par un coureur suppléant, Dave Roberts, qui vole le deuxième but et marque le point égalisateur.