Nhưng trong năm 2004, tay vợt người Mỹ đã bị đẩy xuống vị trí thứ hai sau Roger Federer khi tay vợt Thụy Sĩ giành 3 danh hiệu Grand Slam trong mùa giải.