A.- Le 5 mai 1999, A._ a ouvert une action en modification du jugement de divorce prononcé le 4 juin 1980, concluant à ce que la pension alimentaire due à son ex-épouse, B._, soit réduite de 500 fr. à 250 fr. par mois. Lors de l'introduction de la demande, la rente indexée s'élevait à 824 fr.50.
B.- Statuant le 16 août 1999 sur la requête de mesures provisoires du demandeur, laquelle tendait au versement de 250 fr. pendant la durée de la procédure, le Juge II du district de Monthey a réduit les aliments à 560 fr. par mois dès le 1er mai 1999.
Par arrêt du 18 février 2000, le Tribunal cantonal du canton du Valais a admis le pourvoi en nullité déposé par B._ contre cette décision et a renvoyé la cause au premier juge. Il a en bref considéré que l'appréciation des preuves n'était pas soutenable et qu'il y avait lieu de procéder à d'autres mesures d'instruction.
Le 5 mars 2001, le Juge II du district de Monthey a fixé à 553 fr. par mois, dès le 1er mai 1990, la pension alimentaire due pendant la procédure.
Sur nouveau pourvoi en nullité de B._, la Cour de cassation civile du Tribunal cantonal valaisan a, le 25 septembre 2001, annulé la décision du juge de district et condamné A._ à verser provisoirement à B._, d'avance, le 1er de chaque mois, avec effet dès le 1er mai 1999, une rente de 824 fr.50.
C.- A._ forme un recours de droit public au Tribunal fédéral, concluant à l'annulation de l'arrêt cantonal et au renvoi de la cause pour nouveau jugement dans le sens des considérants. S'agissant des frais et dépens, il demande, principalement, qu'ils soient mis à la charge de l'Etat du Valais, à défaut, de B._. Il requiert, subsidiairement, le bénéfice de l'assistance judiciaire.
L'intimée et l'autorité cantonale n'ont pas été invitées à répondre.
D.- Par ordonnance du 26 octobre 2001, le Président de la cour de céans a refusé l'effet suspensif au recours.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2a p. 42; <ref-ruling> consid. 1 p. 83).
a) Le recours est dirigé contre une décision de mesures provisoires rendue dans le cadre d'un procès en modification d'un jugement de divorce prononcé sous l'ancien droit. Il est recevable selon l'art. 87 OJ, que l'arrêt cantonal soit fondé sur l'art. 137 CC ou sur l'art. 145 aCC (<ref-ruling> consid. 1 p. 263; <ref-ruling> consid. 1b p. 14). Interjeté en temps utile contre une décision rendue en dernière instance cantonale, il l'est aussi au regard des art. 86 al. 1 et 89 al. 1 OJ.
b) Le chef de conclusions tendant au renvoi de la cause est superfétatoire; ce n'est que la conséquence d'une annulation éventuelle (<ref-ruling> consid. 3c/bb p. 354/ 355 et les références; Messmer/Imboden, Die eidgenössischen Rechtsmittel in Zivilsachen, Zurich 1992, p. 226, note 10).
2.- Le recourant se plaint d'abord d'arbitraire dans la constatation des faits.
a) Relevant que le débirentier vit depuis environ dix-huit ans avec C._ laquelle entretient le ménage commun, la cour cantonale a conclu qu'il s'agissait d'une union libre stable, dont le juge ne pouvait faire abstraction. A titre de base mensuelle, il devait dès lors retenir le montant pour couple de 1'550 fr. et en imputer la moitié, à savoir 775 fr., au débirentier. Les magistrats cantonaux ont en outre considéré que le premier juge aurait dû tenir compte d'une participation de la prénommée aux frais de loyer, laquelle pouvait raisonnablement être estimée à 400 fr. par mois. Dans ces conditions, devaient être portés en déduction du minimum vital de 2'691 fr.50 retenu par le juge de première instance la pension de 824 fr.50, un montant de 135 fr. à titre de rectification de la base mensuelle (910 fr. - 775 fr.) et une participation au loyer de 400 fr. Vu son minimum vital ainsi fixé à 1'332 fr. et son revenu (2'419 fr.90), le débirentier pouvait dès lors parfaitement s'acquitter de la pension indexée de 824 fr.50.
b) Autant qu'on puisse le comprendre, le recourant conteste former avec sa compagne une union libre stable ainsi que la possibilité pour celle-là d'exercer une activité lucrative lui permettant de participer au loyer. Il affirme en outre que la base mensuelle pour un couple s'élève non à 1'550 fr. mais à 1'350 fr. et que le montant retenu à titre de participation au loyer est arbitraire.
Une telle critique est irrecevable. D'une part, le recours se fonde en grande partie sur des faits nouveaux (absence d'activité lucrative, état civil, âge et nouveau domicile de la compagne), procédé inadmissible dans un recours de droit public pour arbitraire (<ref-ruling> consid. 4a p. 7; <ref-ruling> consid. 2a p. 39 et les arrêts cités).
D'autre part, nonobstant qu'il est confus, il ne répond pas aux exigences de motivation de l'art. 90 al. 1 let. b OJ. Le Tribunal fédéral n'examine en effet que les griefs invoqués de manière claire et détaillée. Il n'entre pas en matière sur des griefs insuffisamment motivés ou sur une critique purement appellatoire. En particulier, il ne suffit pas que le recourant prétende d'une façon toute générale que l'arrêt du tribunal supérieur est arbitraire, ainsi notamment lorsqu'il affirme que le montant de la participation au loyer est insoutenable. Il doit démontrer, par une argumentation précise, que les constatations querellées ne trouvent aucune assise dans le dossier (<ref-ruling> consid. 1b p. 495 et les références). Même le grief fondé sur l'arbitraire de la base mensuelle pour un couple est manifestement mal fondé.
Les lignes directrices pour le calcul du minimum d'existence en matière de poursuite prévoient en effet, comme l'a relevé à juste titre la cour cantonale, un minimum de 1'550 fr.
pour un couple formant une communauté domestique durable, et non de 1'350 fr. ainsi que le soutient le recourant (cf.
BlSchK, 2001, p. 19).
3.- Se référant à l'art. 8 al. 1, 2 et 3 et aux art. 9 et 29 al. 1 Cst. , le recourant invoque ensuite une violation du principe de l'égalité des citoyens devant la loi et une inégalité de traitement. Il se contente toutefois d'affirmer, sans de plus amples précisions, que les constatations figurant aux considérants 3a et b de l'arrêt attaqué sont arbitraires et se réfère à des faits nouveaux (situation financière de l'intimée). Pour le surplus, ses griefs ne sont pas motivés (violation des art. 29 al. 1 Cst. et 6 par.
1 CEDH) ou de nature purement appellatoire et absconse (absence de circonstances nouvelles fondant une modification des mesures provisoires; caractère arbitraire de la participation au loyer imposée à sa compagne). Quant à celui pris de l'inégalité de traitement, il est irrecevable dès lors que dans le domaine du droit de la famille, le principe constitutionnel de l'égalité n'est pas directement applicable, mais seulement dans les limites de la loi. Il se confond ainsi avec celui de l'application arbitraire de la loi.
Au demeurant, quand bien même aurait-il été recevable sur ce point, le recours aurait dû être rejeté vu les exigences très strictes qui régissent la réduction des contributions d'entretien fixées par jugement de divorce (<ref-ruling>; arrêt 5P.226/2001 du 9 août 2001).
4.- Vu ce qui précède, le recours est irrecevable.
Comme il était par ailleurs d'emblée dénué de toute chance de succès, la requête d'assistance judiciaire du recourant doit aussi l'être (art. 152 OJ). Partant, celui-ci supportera les frais de la procédure (art. 156 al. 1 OJ). Il n'y a en revanche pas lieu d'allouer de dépens, l'intimée n'ayant pas été invitée à répondre (art. 159 al. 1 et 2 OJ; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, vol. V, n. 2 ad art. 159 OJ).

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1. Déclare le recours irrecevable.
2. Rejette la demande d'assistance judiciaire.
3. Met à la charge du recourant un émolument judiciaire de 500 fr.
4. Communique le présent arrêt en copie aux mandataires des parties et à la Cour de cassation civile du Tribunal cantonal du canton du Valais.
_
Lausanne, le 18 mars 2002 JOR
Au nom de la IIe Cour civile
du TRIBUNAL FÉDÉRAL SUISSE:
Le Président,
La Greffière,