Mais en 2003-2004, les Lakers embauchent Karl Malone et Gary Payton. Les journalistes surnomment l'équipe les 4 Fantastiques. L'équipe étant composée de 4 futurs Hall of Famers (Shaquille O'Neal, Kobe Bryant, Karl Malone et Gary Payton). Mais, la saison ne se déroule pas comme prévu : O'Neal manque encore quelques matchs pour blessure et ne marque que 21,5 points de moyenne durant la saison. La blessure de Karl Malone et les absences fréquentes de Kobe Bryant pour cause de procès (accusé d'avoir violé une hôtesse dans un hôtel) empêchent les Lakers de travailler leur jeu collectif et d'apprendre à se connaître. Les relations entre O'Neal et Bryant se dégradent fortement, les 2 joueurs se critiquant par presse interposée, le premier reprochant au deuxième de ne pas assez passer le ballon, le second lui rétorquant de le laisser tranquille. O'Neal remporte le titre de MVP du All-Star Game 2004. Les Lakers parviennent en finale NBA mais sont battus par les Pistons de Détroit, biens plus collectifs, 4-1.