A.- A._, né en 1954, et B._, née en 1957, se sont mariés le 17 février 1988. Un fils est issu de leur union, C._, né en 1991. Les époux A._ et B._ se sont séparés au début de l'année 2000. Dans un premier temps, leurs relations ont été réglées par une ordonnance de mesures protectrices de l'union conjugale du 6 mars 2000 complétant un accord conclu en audience le 8 février 2000. Selon les modalités ainsi prévues, A._ devait verser à son épouse des contributions d'entretien mensuelles indexées de 1'245 fr. pour elle-même et 800 fr. pour leur fils, allocations familiales en sus. Le 19 septembre 2001, à la suite des requêtes en modification des mesures protectrices déposées par l'épouse les 8 février et 19 juillet 2001, le Président du Tribunal civil du district de La Chaux-de-Fonds a amendé sa précédente ordonnance et condamné A._ à verser à sa femme une contribution d'entretien mensuelle de 1'550 fr. du 1er février au 30 juin 2001 et de 2'325 fr. dès le 1er juillet 2001. Considérant que le mari vivait en concubinage, le juge a retenu dans son calcul, pour la période à partir du 1er juillet 2001, d'une part un demi-minimum vital de base pour couple, à savoir 775 fr., à la place du minimum vital de base pour une personne vivant seule de 1'100 fr. et, d'autre part, un demi-loyer, à savoir 550 fr., au lieu du montant total de 1'100 fr.; enfin, il a déclaré irrecevable la demande reconventionnelle du mari tendant à la suppression de toute pension en faveur de son épouse. Par arrêt du 17 janvier 2002, la Cour de cassation civile du Tribunal cantonal de la République et Canton de Neuchâtel (ci-après: la Cour de cassation civile) a rejeté le recours interjeté par A._ contre cette décision. Elle a notamment estimé que le juge de district avait correctement apprécié les faits et appliqué le droit en retenant, au titre des charges de l'époux, eu égard à son concubinage, la moitié du loyer et un demi-minimum vital pour couple; en outre, elle a considéré qu'il ne se justifiait pas d'exiger de l'épouse qu'elle augmente son temps de travail. B.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 17 janvier 2002 et de renvoyer la cause à l'autorité cantonale pour nouvelle décision. L'intimée et la cour cantonale ont renoncé à déposer des observations. Par ordonnance du 18 mars 2002, le Président de la Cour de céans a admis la requête d'effet suspensif présentée par le recourant en tant qu'elle concerne la contribution d'entretien due à l'intimée jusqu'en janvier 2002.