Comme joueur, Baker décroche deux sélections pour le match des étoiles, remporte deux Bâtons d'argent et un Gant doré. Il participe trois fois aux Séries mondiales. Joueur de longue date des Braves d'Atlanta et des Dodgers de Los Angeles, il est avec ces derniers champion de la Série mondiale 1981. Baker est nommé Joueur par excellence de la Série de championnat de la Ligue nationale en 1977, la première année où ce prix est décerné.