Échangé par les Braves aux Dodgers de Los Angeles le 17 novembre 1975, Baker est élu joueur par excellence de la Série de championnat de la Ligue nationale en 1977 lors de la victoire de son équipe sur les Phillies de Philadelphie. Baker dispute 8 saisons avec les Dodgers. Il les représente au match des étoiles en 1981 et 1982. Le joueur de champ extérieur reçoit un Bâton d'argent en 1980 et 1981, et ses qualités défensives au champ gauche sont récompensées par un Gant doré en 1981.