Le , Chicago échange Reuschel aux Yankees de New York contre les lanceurs droitiers Doug Bird et Mike Griffin. Reuschel maintient une moyenne de points mérités de 2,67 en 11 départs et une présence en relève pour les Yankees en seconde moitié de saison et lance dans la Série mondiale 1981, perdue par New York contre les Dodgers de Los Angeles. Inefficace dans les séries éliminatoires avec les Yankees (moyenne de 4,91 points mérités accordés en finale et une défaite contre Milwaukee en Série de championnat), Reuschel passe l'entière saison 1982 sur la liste des joueurs blessés à la suite de deux opérations à l'épaule droite, puis est libéré de son contrat avec New York en .