Devenu agent libre après une saison hors de la compétition, Hernández revient chez les Yankees de New York en mars 2004. Il semble retrouver sa forme d'autrefois alors qu'il se montre dominant en 15 départs, retirant 84 frappeurs sur des prises en 84 manches et deux tiers lancées, et gardant sa moyenne de points mérités à seulement 3,30. Il gagne huit matchs, n'en perd que deux. Il joue un match comme lanceur partant en Série de championnat 2004 dans un match perdu par les Yankees face aux Red Sox de Boston mais dans lequel Hernández n'est pas lanceur de décision.