Devenu agent libre après une seule saison à Oakland, où il établit son record personnel de 52 buts volés en une année, Baylor rejoint les Angels de la Californie, pour qui il évolue de 1977 à 1982. Il connaît à sa première année chez les Angels une saison de 25 circuits et 75 points produits. En 1978, il frappe 34 longues balles et fait marquer 99 points et termine au vote désignant le joueur par excellence de la Ligue américaine, prix remporté par Jim Rice. Ce n'est que partie remise puisqu'il remporte ce prix en 1979 après une saison où il mène les majeures pour les points comptés (120) et les points produits (139), établit ses records personnels de 186 coups sûrs, 36 circuits et 33 doubles, vole 22 buts, frappe pour ,296 et présente sa moyenne de puissance (,530) la plus élevée en carrière. Baylor honore en 1979 sa seule invitation en carrière au match des étoiles. Il frappe un circuit dans la seule victoire des Angels contre son ancien club, Baltimore, dans la Série de championnat 1979 de la Ligue américaine, mais fait autrement piètre figure avec trois coups sûrs en quatre matchs et une moyenne au bâton de ,188. Il prend de nouveau part aux éliminatoires en 1982 alors que le club californien baisse pavillon en cinq matchs contre les Brewers de Milwaukee mais Baylor produit 10 points dans cette Série de championnat. Il ouvre d'ailleurs la série avec un simple, un triple et cinq points produits dans le premier match gagné 8-3 par les Angels.