A.- A._, né en 1954, et B._, née en 1957, se sont mariés le 17 février 1988. Un fils est issu de leur union, C._, né en 1991.
Les époux A._ et B._ se sont séparés au début de l'année 2000. Dans un premier temps, leurs relations ont été réglées par une ordonnance de mesures protectrices de l'union conjugale du 6 mars 2000 complétant un accord conclu en audience le 8 février 2000. Selon les modalités ainsi prévues, A._ devait verser à son épouse des contributions d'entretien mensuelles indexées de 1'245 fr.
pour elle-même et 800 fr. pour leur fils, allocations familiales en sus.
Le 19 septembre 2001, à la suite des requêtes en modification des mesures protectrices déposées par l'épouse les 8 février et 19 juillet 2001, le Président du Tribunal civil du district de La Chaux-de-Fonds a amendé sa précédente ordonnance et condamné A._ à verser à sa femme une contribution d'entretien mensuelle de 1'550 fr. du 1er février au 30 juin 2001 et de 2'325 fr. dès le 1er juillet 2001. Considérant que le mari vivait en concubinage, le juge a retenu dans son calcul, pour la période à partir du 1er juillet 2001, d'une part un demi-minimum vital de base pour couple, à savoir 775 fr., à la place du minimum vital de base pour une personne vivant seule de 1'100 fr. et, d'autre part, un demi-loyer, à savoir 550 fr., au lieu du montant total de 1'100 fr.; enfin, il a déclaré irrecevable la demande reconventionnelle du mari tendant à la suppression de toute pension en faveur de son épouse.
Par arrêt du 17 janvier 2002, la Cour de cassation civile du Tribunal cantonal de la République et Canton de Neuchâtel (ci-après: la Cour de cassation civile) a rejeté le recours interjeté par A._ contre cette décision. Elle a notamment estimé que le juge de district avait correctement apprécié les faits et appliqué le droit en retenant, au titre des charges de l'époux, eu égard à son concubinage, la moitié du loyer et un demi-minimum vital pour couple; en outre, elle a considéré qu'il ne se justifiait pas d'exiger de l'épouse qu'elle augmente son temps de travail.
B.- Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 17 janvier 2002 et de renvoyer la cause à l'autorité cantonale pour nouvelle décision.
L'intimée et la cour cantonale ont renoncé à déposer des observations.
Par ordonnance du 18 mars 2002, le Président de la Cour de céans a admis la requête d'effet suspensif présentée par le recourant en tant qu'elle concerne la contribution d'entretien due à l'intimée jusqu'en janvier 2002.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1a p. 16, 46 consid. 2a p. 47 et les arrêts cités).
Selon une jurisprudence confirmée récemment, les décisions de mesures protectrices de l'union conjugale ne constituent en principe pas des décisions finales au sens de l'art. 48 al. 1 OJ et ne peuvent par conséquent être entreprises par la voie du recours en réforme (<ref-ruling> consid. 2a et b et les arrêts cités). Les griefs soulevés par le recourant ne pouvant être soumis par un autre moyen de droit au Tribunal fédéral, la condition de la subsidiarité absolue du recours de droit public est donc satisfaite (art. 84 al. 2 OJ).
2.- Dans un premier grief, le recourant soutient que la Cour de cassation civile aurait appliqué arbitrairement le droit fédéral (art. 9 Cst.), plus précisément les principes jurisprudentiels relatifs à la notion de concubinage qualifié. Pour calculer la contribution d'entretien, l'autorité cantonale a admis une réduction du minimum vital et des charges de loyer du recourant en se fondant sur l'existence d'un tel concubinage. Or, il n'aurait pas été démontré dans la procédure cantonale que les relations entretenues avec sa compagne satisfont aux conditions posées par la jurisprudence; en particulier, le critère temporel ferait défaut, la communauté de vie ne durant que depuis huit mois.
a) Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et incontesté ou heurte de façon choquante le sentiment de la justice et de l'équité; par ailleurs, il ne suffit pas que ses motifs soient insoutenables, encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 3a; <ref-ruling> consid. 2a et les arrêts cités).
b) aa) Lorsqu'il s'agit de déterminer le minimum vital d'un conjoint dans le cadre de la fixation de la contribution d'entretien, il faut prendre en considération le fait que le débirentier habite avec un tiers qui partage sa charge de loyer (cf. Jean-François Perron, La méthode du minimum vital, in SJ 1993 p. 425, 435). Ne pas en tenir compte reviendrait à admettre un minimum vital artificiel, car calculé en partie sur des charges locatives fictives. Cette solution, qui se fonde sur des motifs d'équité, est celle adoptée en droit des poursuites, où il est admis que dans le calcul du minimum vital du débiteur, il convient de prendre en compte la contribution du concubin aux frais communs, dont le loyer (<ref-ruling> consid. 3b et c; <ref-ruling> consid. 2 p. 102). Elle est également appliquée lorsque des enfants majeurs vivent en ménage commun avec leurs parents et disposent de leurs propres revenus (voir à ce sujet les Lignes directrices pour le calcul du minimum d'existence selon l'<ref-law> émises par la Conférence des préposés aux poursuites et faillites de Suisse, version du 24 novembre 2000, in BlSchK 2001 p. 19, reprises par la Circulaire de l'Autorité cantonale de surveillance des offices des poursuites et des faillites du Canton de Neuchâtel sur le minimum vital insaisissable dans sa dernière version du 30 janvier 2001); dans ce cas, une participation adaptée des enfants au paiement du loyer est déduite du minimum vital des parents (chiffre V).
En l'espèce, le recourant ayant expressément admis dans la procédure cantonale qu'il forme une communauté de toit et de table avec sa compagne, et que leur union a principalement pour but de partager les frais et dépenses, on ne saurait reprocher à la Cour de cassation civile d'être tombée dans l'arbitraire en retenant, dans le calcul de son minimum vital, la moitié seulement du loyer. En outre, cette dernière ne s'est pas fondée sur la notion de concubinage qualifié, contrairement à ce que prétend le recourant.
bb) Dans le calcul de la contribution d'entretien, le montant dit "de base" compris dans le minimum vital d'un conjoint est déterminé selon les normes d'insaisissabilité admises en matière d'exécution forcée (cf. Perrin, op. cit. , p. 429; Paul-Henri Steinauer, La fixation de la contribution d'entretien due aux enfants et au conjoint en cas de vie séparée, in RFJ 1992 p. 3, 6). Selon les Lignes directrices de la Conférence des préposés aux poursuites et faillites citées plus haut, ce montant, pour un couple ou deux adultes formant une "communauté domestique durable", est de 1'550 fr., alors qu'il s'élève à 1'100 fr. pour une personne vivant seule.
Selon une jurisprudence récemment confirmée, il est conforme au droit fédéral des poursuites de réduire le minimum vital du débiteur dans la mesure de la participation de son concubin au montant minimal nécessaire à l'entretien courant de la communauté, pour autant que la contribution mise à la charge de ce dernier ne soit pas supérieure à la moitié des frais communs (<ref-ruling> consid. 3b et c; ATF <ref-ruling> consid. 2 p. 102). S'agissant de fixer une contribution d'entretien dans le cadre de mesures provisoires, la Cour de céans a jugé qu'il était important, lors de la détermination du minimum vital du conjoint débirentier, de prendre en compte que celui-ci vit en communauté ("Wohngemeinschaft") avec une autre personne; dans ces circonstances, il n'est pas arbitraire de considérer que le compagnon participe pour moitié aux frais communs, même si sa participation effective est moindre (arrêt du Tribunal fédéral 5P.15/1995 du 1er mars 1995, consid. 3c). Il ne ressort pas de cette pratique que la durée du concubinage est déterminante; sont au contraire pertinents les avantages économiques que le débirentier retire de sa relation avec son concubin. Enfin, la durée du concubinage n'est pas décisive lorsqu'il s'agit de fixer une contribution d'entretien dans le cadre de mesures provisoires ou protectrices: d'une part, celles-ci peuvent être modifiées si la situation du crédirentier ou du débirentier change; d'autre part, leurs effets dans le temps sont limités.
Au vu de ce qui précède, l'autorité cantonale n'a pas commis l'arbitraire en prenant en compte, dans son calcul, un demi-montant de base pour couple sans considérer comme déterminante la durée du concubinage, mais en retenant en revanche le but principalement économique de cette union, selon les déclarations du recourant à ce sujet. En outre, la Cour de cassation civile ne s'est pas fondée sur la notion de concubinage qualifié, contrairement aux allégations du recourant.
3.- En deuxième lieu, le recourant prétend que la Cour de cassation civile, en retenant pour le calcul de son minimum vital un demi-montant de base pour couple et un demi-loyer, aurait violé l'art. 12 Cst.
Conformément à l'art. 90 al. 1 let. b OJ, le Tribunal fédéral n'examine que les griefs exposés de façon claire et détaillée (<ref-ruling> consid. 1b et les arrêts cités).
Le recourant ne précisant pas en quoi consiste dans son cas la violation de la garantie constitutionnelle à des conditions minimales d'existence pour toute personne qui n'est pas en mesure de subvenir à ses besoins, sa critique est insuffisamment motivée et, partant, irrecevable.
4.- Enfin, le recourant fait valoir que l'autorité cantonale aurait rendu une décision arbitraire en fixant la contribution d'entretien selon l'<ref-law>, en refusant d'appliquer le principe dit du "clean break" et en dispensant sa femme d'augmenter son taux d'activité actuel qui est de 50%. Ce faisant, la Cour de cassation civile aurait également violé le principe d'égalité de traitement entre les conjoints non encore divorcés concernant l'entretien de la famille (art. 8 Cst.). Par ailleurs, le fait de ne pas retenir un revenu adapté aux possibilités de l'épouse dans le calcul de la contribution d'entretien porterait atteinte au minimum vital du recourant et serait contraire à l'art. 12 Cst.
a) La question litigieuse soumise par le recourant, autant qu'on la comprend, est essentiellement celle de la prise en compte, dans le calcul de la contribution d'entretien, d'un revenu hypothétique supérieur à celui que l'épouse obtient actuellement.
Pour l'autorité cantonale, il ne se justifierait pas de demander à cette dernière d'augmenter son temps de travail actuel car, d'une part, les revenus effectivement réalisés par les conjoints leur permettent de couvrir leurs minima vitaux et les charges indispensables et, d'autre part, l'épouse doit assumer la garde de l'enfant commun âgé de 10 ans. Le principe du "clean break" invoqué par le recourant ne lui serait d'aucune utilité, vu qu'il ne serait applicable qu'après le prononcé du divorce. En outre, l'épouse a établi avoir demandé en vain à son employeur actuel une augmentation de son taux de travail et avoir cherché sans succès un autre poste d'enseignante.
b) Selon l'<ref-law>, le juge fixe la contribution pécuniaire à verser par l'une des parties à l'autre en application de l'<ref-law>. Conformément à la jurisprudence, les deux époux doivent participer, chacun selon ses facultés, aux frais supplémentaires engendrés par l'existence parallèle de deux ménages. Ceci implique que celui des époux qui n'avait, jusqu'à la suspension de la vie commune, pas exercé d'activité lucrative, ou seulement dans une mesure restreinte, pourra, selon les circonstances, être contraint de le faire ou d'étendre son taux de travail. Dans chaque cas concret, il s'agit d'examiner si et dans quelle mesure on peut exiger de l'épouse qu'elle ait une activité lucrative, ou augmente celle qu'elle exerce déjà, compte tenu de son âge, de son état de santé, de sa formation et, le cas échéant, du temps plus ou moins long durant lequel elle a été éloignée de la vie professionnelle (cf. <ref-ruling> consid. 5, 301 consid. 3a p. 302). Lors de la fixation de la contribution d'entretien, on pourra prendre en considération un montant supérieur à celui que l'intéressée tire effectivement du revenu de son travail, pour autant qu'une telle augmentation soit économiquement possible et qu'on puisse l'exiger d'elle (cf. <ref-ruling> consid. 4a p. 5; <ref-ruling> consid. 1b p. 17).
Dans sa jurisprudence récente, le Tribunal fédéral a considéré que, pour la fixation de la contribution d'entretien et, en particulier, la question de la reprise ou de l'augmentation de l'activité lucrative de l'épouse, il se justifie de tenir compte de la réglementation applicable en cas de divorce (<ref-law>) lorsqu'il n'existe plus de perspective sérieuse de reprise de la vie commune (<ref-ruling> consid. 4a). Cela signifie d'une part que, outre les critères posés précédemment par la jurisprudence, le juge retiendra les éléments indiqués de façon non exhaustive par l'<ref-law> et, d'autre part, qu'il y a lieu d'apprécier la situation à la lumière du principe dit du "clean break", en encourageant autant que possible l'indépendance économique des conjoints.
c) En l'espèce, le moyen tiré de l'arbitraire présenté par le recourant doit être rejeté. Le fait que l'autorité cantonale a considéré, sans connaître la jurisprudence rendue un mois plus tôt par la Cour de céans, que le principe du "clean break" n'est pas applicable avant le prononcé du divorce, ne suffit pas pour fonder ce grief. En effet, le résultat auquel est parvenue la Cour de cassation civile n'est pas arbitraire (<ref-ruling> consid. 3a; <ref-ruling> consid. 2a et les arrêts cités), dès lors que le rejet de l'argument relatif à la prise en compte d'une augmentation du taux de travail de l'intimée est fondé, d'une part, sur les efforts vains de celle-ci pour étendre ses activités dans sa branche et, d'autre part, sur les revenus effectivement réalisés par les époux, qui leur permettent de couvrir leurs minima vitaux, ainsi que sur la charge que représente encore pour l'épouse la garde de l'enfant commun. Au surplus, la critique du recourant n'est pas motivée conformément aux exigences de l'art. 90 al. 1 let. b OJ.
Pour les mêmes raisons, le fait que l'autorité cantonale n'a pas instruit les circonstances relatives à la situation du couple, afin d'examiner s'il existait des perspectives de réconciliation, ne saurait être qualifié d'arbitraire, comme le soutient le recourant.
Enfin, contrairement à l'argumentation de ce dernier, on ne saurait reprocher à la Cour de cassation civile d'avoir commis l'arbitraire en fixant la contribution d'entretien sur la base de l'<ref-law>. S'il y a effectivement lieu d'apprécier la situation d'un couple séparé totalement désuni en s'inspirant des principes régissant l'hypothèse du divorce, il n'en demeure pas moins que, dans pareil cas, c'est bien l'<ref-law> qui constitue la cause de l'obligation d'entretien.
d) Les griefs du recourant relatifs à la violation du droit à l'égalité de traitement entre époux et de la garantie constitutionnelle à des conditions minimales d'existence sont purement appellatoires et ne satisfont pas aux exigences de motivation circonstanciée déduites de l'art. 90 al. 1 let. b OJ (cf. consid. 3 supra); partant, ils sont irrecevables.
Au surplus, la garantie constitutionnelle de l'égalité de traitement entre hommes et femmes s'adressant à l'Etat et ne produisant pas d'effet horizontal direct dans les relations entre personnes privées (<ref-ruling> consid. 2b p. 330/331 et les arrêts cités), le recourant ne peut s'en prévaloir à l'appui d'un recours de droit public dirigé contre une décision rendue dans une affaire opposant deux particuliers.
5.- En conclusion, le recours doit être rejeté dans la mesure de sa recevabilité, aux frais de son auteur (art. 156 al. 1 OJ). Il n'y pas lieu d'allouer des dépens, l'intimée ayant renoncé à déposer une réponse.

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Met à la charge du recourant un émolument judiciaire de 2'000 fr.
3. Communique le présent arrêt en copie aux mandataires des parties et à la Cour de cassation civile du Tribunal cantonal du Canton de Neuchâtel.
_
Lausanne, le 1er juillet 2002 HEE/svc
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président, La Greffière,