Ashby passe le reste de sa carrière, soit 11 saisons, chez les Astros et est chaque année le receveur principal de l'équipe, à l'exception de la saison 1985, où Mark Bailey joue plus souvent que lui, et de sa dernière campagne en 1989. Ashby offre des performances honnêtes à l'attaque, un aspect du jeu du receveur qui est souvent négligé. Il frappe pour, 252 de moyenne au bâton avec 69 circuits en 965 matchs au cours de ces 11 années. Il joue dans les séries éliminatoires qui suivent les trois premiers titres de la division Ouest de la Ligue nationale dans l'histoire des Astros, en 1980, 1981 et 1986. Il réussit un coup de circuit de deux points contre Sid Fernandez dans la victoire de 3-1 des Astros sur les Mets de New York dans le de la Série de championnat 1986 de la Ligue nationale. La meilleure saison d'Ashby est celle de 1987, alors qu'il atteint ses sommets personnels de coups sûrs (111), de circuits (14), de points produits (63) et de points marqués (53) en une saison, en plus d'afficher sa moyenne au bâton (, 288) et son pourcentage de présence sur les buts (, 367) les plus élevés.