Antes de comenzar su segunda temporada en la liga, el entrenador de los Rockets Rudy Tomjanovich tuvo que dejar su puesto debido a problemas de salud, y el exentrenador de New York Knicks Jeff Van Gundy ocupó el cargo. Van Gundy se centró más en la capacidades ofensivas de Yao, por lo que el pívot realizó su mejor temporada en promedios anotadores y reboteadores. En febrero de 2004 anotó 41 puntos, récord de su carrera, y repartió 7 asistencias en la victoria por 123-121 ante Atlanta Hawks en tres prórrogas. Un mes antes, sumó 37 puntos y 10 rebotes ante Orlando Magic. Yao finalizó la temporada promediando 17.5 puntos y 9 rebotes por partido, y por segundo año consecutivo fue votado como pívot titular para el All-Star Game. Por primera vez desde la llegada de Yao, los Rockets accedieron a playoffs tras terminar séptimos en la Conferencia Oeste con un balance de 45 victorias y 37 derrotas, aunque cayeron eliminados en la primera ronda en manos de Los Angeles Lakers por 4-1. Yao promedió 15 puntos y 7.4 rebotes por encuentro en la eliminatoria.