A.- Par jugement du 25 février 1999, le Tribunal de première instance du canton de Genève a prononcé le divorce des époux G._, né en 1958 à Padoue (Italie), et dame G._, née en 1957 à Los Angeles (États-Unis), mariés le 8 mai 1991. Les droits parentaux sur l'enfant C._, née en 1994, ont été attribués à la mère, un large droit de visite étant réservé au père. Ce dernier a été condamné à contribuer à l'entretien de sa fille à raison de montants échelonnés entre 700 fr. et 1'000 fr. par mois en fonction de l'âge de l'enfant, et à payer à son ex-épouse une pension d'assistance (art. 152 aCC) indexée de 1'740 fr. par mois jusqu'au 30 avril 2010.
Ce jugement a été rendu sur renvoi de la Cour de justice, qui avait annulé un premier jugement du 19 février 1998 par arrêt du 4 septembre 1998. Dans cet arrêt, les juges cantonaux ont notamment retenu, s'agissant de la pension en faveur de l'épouse, que la capacité de gain de celle-ci était très faible en raison de son absence de qualification professionnelle, de son âge (41 ans) et de son obligation de s'occuper de C._; ils ont à cet égard précisé que dame G._, essentiellement anglophone, avait travaillé, avant son mariage, comme serveuse aux États-Unis et n'avait pas eu d'activité professionnelle depuis lors, sous réserve de quelques semaines d'occupation temporaire. G._ disposant d'un salaire net de 6'533 fr. par mois pour des charges mensuelles de 4'096 fr., la Cour de justice a estimé qu'il était en mesure de servir à son épouse une pension d'assistance de 1'740 fr. par mois jusqu'en 2010, échéance proposée par la crédirentière et correspondant au mois où C._ atteindrait l'âge de seize ans.
B.- Le 29 mai 2000, G._ a ouvert action en modification du jugement de divorce devant le Tribunal de première instance du canton de Genève, en concluant à la suppression de la pension due à son ex-épouse. La demande était fondée sur le départ définitif en novembre 1999 de dame G._ pour les États-Unis, ce qui la mettait en situation de trouver un emploi rémunéré. G._ a également fait valoir la naissance d'un second enfant, E._, née le 14 août 1999 de la relation qu'il entretenait depuis janvier 1996 avec dame M._, avec laquelle il faisait ménage commun depuis avril 1999.
Le 25 juillet 2000, dame G._ a déposé une requête fondée sur l'<ref-law>, tendant à ce que le Tribunal de première instance ordonne à l'employeur de son ex-époux de verser directement en ses mains les contributions en sa faveur et en faveur de C._.
Par jugement du 26 janvier 2001, le Tribunal de première instance, après avoir joint les deux causes, a débouté G._ de ses conclusions en modification du jugement de divorce et ordonné à l'employeur de G._ de verser le salaire de ce dernier en mains de dame G._ à concurrence de 1'740 fr. par mois jusqu'au 30 avril 2010.
C.- Statuant par arrêt du 14 septembre 2001 sur appel de G._, la Chambre civile de la Cour de jus-tice du canton de Genève a confirmé ce jugement. Elle a rappelé qu'en vertu de l'art. 153 al. 2 aCC, la pension alimentaire allouée à titre de secours sera supprimée ou réduite, à la demande du débiteur, en cas d'amélioration de la situation économique du bénéficiaire ou en cas de péjoration de celle du débiteur - les deux facteurs de réduction pouvant être invoqués cumulativement - pour autant que la modification soit importante, à vues humaines durable et non prévisible au moment du divorce (arrêt attaqué, consid. 5a p. 11/12; cf. <ref-ruling> consid. 3 et 5a; <ref-ruling> consid. 5a, 359 consid. 3).
a) S'agissant de dame G._, les juges cantonaux ont considéré que l'on ne saurait parler d'une amélioration sensible et durable de sa situation. En effet, s'il est vrai que la faculté de dame G._ de se réinsérer dans le monde du travail n'est désormais plus entravée par le handicap linguistique qu'elle pouvait rencontrer à Genève, il reste qu'elle n'a pas de formation professionnelle et qu'avant son mariage en mai 1991, elle avait été employée comme serveuse. Dans ces conditions, l'appréciation faite à l'époque de la procédure de divorce, selon laquelle sa capacité de gain est très faible (cf. lettre A supra), reste fondée, notamment au regard du jeune âge de l'enfant des parties. Il est en effet pratiquement difficile pour une mère divorcée de concilier un emploi dans la restauration - qui de l'aveu de dame G._ lui rapporterait un salaire de l'ordre de 8 USD brut ou 6 USD net par heure et serait en grande partie absorbé par les frais qu'elle devrait alors supporter pour faire garder C._ - avec la prise en charge d'un enfant en relatif bas âge. Ainsi, selon la cour cantonale, si dame G._ est peut-être aujourd'hui plus facilement à même de réaliser quelque gain par une activité professionnelle, elle n'est pas à même d'être financièrement autonome, ce qui justifierait la suppression de la pension alimentaire (arrêt attaqué, lettre H/b p. 9/10 et consid. 5c p. 12/13).
b) Pour ce qui est de la situation de G._, la cour cantonale a retenu que les charges totales de ce dernier et de sa compagne dame M._ sont de l'ordre de 6'500 fr. par mois (loyer 1'500 fr.; place de parc 170 fr.; assurances-maladie de base pour les concubins et E._ 185 fr., 92 fr. et 260 fr.; frais de repas à l'extérieur 308 fr.; frais de crèche 414 fr.; impôts cantonaux et fédéraux 821 fr., 62 fr. et 483 fr.; base Office des poursuites couple 1'535 fr. et E._ 285 fr.; frais droit de visite C._ 400 fr.). En déduisant du salaire actuel net de G._ (7'700 fr. par mois) les contributions de 700 fr.
et de 1'740 fr. résultant du jugement de divorce, il subsiste 5'260 fr. La comparaison des revenus mensuels nets respectifs de G._ (7'700 fr.) et de sa compagne (3'020 fr.) justifie de faire supporter au premier environ 65% des charges du ménage. Il s'ensuit qu'après paiement des pensions alimentaires telles que fixées lors de la procédure de divorce (700 fr. et 1'740 fr.) et de ce pourcentage des charges (4'234 fr.), G._ dispose encore d'un montant de l'ordre de 1'000 fr. par mois (7'700 fr. - 4'234 fr. - 700 fr. - 1'740 fr. = 1'026 fr.), sans compter qu'il n'est pas exclu qu'il reçoive une prime annuelle de son employeur. Selon la cour cantonale, il n'apparaît ainsi pas que la pension d'assistance due à dame G._ doive être supprimée ni même réduite pour le motif qu'elle ne serait plus en rapport avec les facultés du débiteur, au sens de l'art. 153 al. 2 aCC (arrêt attaqué, lettre H/a p. 6-9 et consid. 5d p. 13-15).
D.- Agissant par la voie du recours en réforme au Tribunal fédéral, G._ conclut avec suite de frais et dépens à l'annulation de cet arrêt et au renvoi de la cause à l'autorité cantonale pour instruction complémentaire par l'ouverture d'enquêtes. Il sollicite en outre l'octroi de l'assistance judiciaire pour la procédure fédérale.
Il n'a pas été demandé de réponse.

Considérant en droit :
1.- Portant sur une valeur litigieuse qui, calculée conformément à l'art. 36 al. 4 et 5 OJ, dépasse largement le seuil de 8'000 fr. dont l'art. 46 OJ fait dépendre la recevabilité du recours en réforme dans les contestations civiles portant sur des droits de nature pécuniaire autres que ceux visés à l'art. 45 OJ, le présent litige peut être déféré au Tribunal fédéral par la voie du recours en réforme (ATF 69 II 148; cf. <ref-ruling> consid. 2d). Interjeté en temps utile contre une décision finale prise par le tribunal suprême du canton de Genève et qui ne peut pas être l'objet d'un recours ordinaire de droit cantonal, le recours est par ailleurs recevable au regard des art. 48 al. 1 et 54 al. 1 OJ.
2.- a) Le recourant reproche à l'autorité cantonale de n'avoir pas quantifié le montant du gain que l'intimée est en mesure de réaliser et de n'avoir pas calculé précisément le minimum vital de l'intimée. Selon le recourant, l'autorité cantonale aurait dû rechercher si le dénuement de l'intimée avait disparu et si celle-ci était en mesure de subvenir seule à son entretien, la pension d'assistance selon l'art. 152 aCC n'ayant qu'un caractère subsidiaire. En retenant que l'intimée n'était pas "financièrement autonome", sans vérifier l'exactitude de ce fait, la cour cantonale aurait violé l'art. 153 al. 2 aCC, qui ne prévoit pas cette condition pour ordonner la suppression ou la réduction de la pension d'assistance au sens de l'art. 152 aCC. Toujours selon le recourant, la cour cantonale aurait pu et dû établir le potentiel de l'intimée à retrouver un emploi, même faiblement rémunéré, dès lors que ce gain pourrait être bien supérieur au montant de la pension d'assistance litigieuse, un salaire horaire brut de 8 USD à raison de 8 heures de travail pendant 22 jours ouvrables représentant un montant mensuel de 1'408 USD, soit presque 2'400 CHF. L'arrêt attaqué devrait par conséquent être annulé et la cause retournée à l'autorité cantonale pour instruction complémentaire sur la capacité de gain et le minimum vital de l'intimée.
Le recourant se plaint également d'une violation de son droit à la preuve, en faisant valoir que c'est uniquement par l'ouverture d'enquêtes que la Cour de justice aurait été en mesure de calculer et chiffrer les possibilités de gain de l'intimée. Or malgré ses demandes écrites et orales au cours de la procédure cantonale, le recourant n'aurait pas été admis à offrir ses moyens de preuve, notamment par le biais d'une commission rogatoire, sur la capacité financière et le minimum vital de l'intimée, ce qui constituerait une violation de l'<ref-law>.
b) L'<ref-law>, en tant qu'il consacre le droit à la preuve, est violé lorsque le juge ne donne pas suite aux offres de preuve d'une partie sur des faits pertinents pour l'appréciation juridique de la cause (<ref-ruling> consid. 2a; <ref-ruling>; <ref-ruling> consid. 3c). Le droit à la preuve suppose toutefois que la partie à laquelle incombe le fardeau de la preuve ait formulé un allégué régulier selon le droit de procédure, que l'allégué se rapporte à un fait pertinent, qu'il ait fait l'objet d'une offre de preuve valablement présentée selon le droit de procédure et que les moyens de preuve proposés apparaissent idoines à prouver l'allégué (<ref-ruling> consid. 2a; <ref-ruling> consid. 6b; <ref-ruling> consid. 6a/aa; <ref-ruling> consid. 3 et les références citées; cf. <ref-ruling> consid. 1 in fine).
En l'espèce, il incombe au recourant, qui soutient que l'intimée ne serait plus dans le dénuement ou à tout le moins que la gêne dans laquelle elle se trouverait sans la pension aurait sensiblement diminué (cf. art. 153 al. 2 aCC), d'établir les éléments de fait correspondants qui justifieraient la suppression ou la réduction de la pension d'assistance qu'il avait été condamné à payer à l'intimée (<ref-law>). Or le recourant ne démontre nullement avoir formulé à cet égard des offres de preuve régulièrement présentées selon le droit de procédure et auxquelles les juges cantonaux auraient refusé de donner suite. Il se borne en effet, sans aucune référence précise au dossier, à affirmer de manière toute générale que l'autorité cantonale ne l'aurait "[pas admis] à faire la preuve de faits allégués, tant par écrit qu'oralement lors de l'audience de plaidoiries de mai 2001", ce qui ne permet nullement de conclure que le droit à la preuve du recourant aurait été violé.
En l'absence d'éléments probants - qu'il appartenait au recourant d'établir et non à la cour cantonale d'élucider d'office - sur le revenu hypothétique que l'intimée pourrait tirer d'une activité lucrative eu égard notamment au fait qu'elle a la charge d'un enfant encore en relatif bas âge, l'appréciation de la cour cantonale, selon laquelle la capacité de gain de l'intimée ne s'est guère améliorée depuis le divorce et ne lui permettrait en tout cas pas de se passer de l'aide que le recourant a été condamné à lui fournir sous la forme d'une pension d'assistance, n'apparaît pas contraire au droit fédéral.
3.- a) S'agissant de ses propres facultés financières, le recourant fait grief aux juges cantonaux de n'avoir pas voulu prendre en compte le fait que sa compagne dame M._ n'a plus de revenu depuis le 1er avril 2001, ayant décidé de s'occuper à plein temps de son enfant E._.
L'appréciation qu'a faite la Cour de justice des facultés du recourant, qui se retrouverait seul à devoir payer les charges du nouveau ménage, serait ainsi totalement faussée et violerait le droit fédéral, notamment l'art. 153 al. 2 aCC.
Un tel grief, par lequel le recourant entend s'écarter de l'état de fait contenu dans l'arrêt attaqué, sans se prévaloir de l'une des exceptions prévues par les art. 63 al. 2 et 64 OJ à la règle selon laquelle le Tribunal fédéral, lorsqu'il est saisi d'un recours en réforme, doit conduire son raisonnement sur la base des faits contenus dans la décision attaquée, est irrecevable (<ref-ruling> consid. 2c et la jurisprudence citée).
b) C'est par ailleurs en vain que le recourant tente de critiquer la constatation de la cour cantonale selon laquelle il n'est pas exclu qu'il reçoive une prime annuelle de son employeur (cf. lettre C/b supra), constatation qui procéderait d'une inadvertance manifeste pour être contraire à une attestation de l'employeur du recourant (Pièce 36 produite le 30 novembre 2000) certifiant que celui-ci ne bénéficiera pas de prime supplémentaire par rapport à son salaire.
En effet, cette constatation n'influe aucunement sur la conclusion de l'autorité cantonale selon laquelle, en tenant compte de ses seuls revenus incontestés de 7'700 fr. par mois, le recourant dispose encore d'un montant de plus de 1'000 fr. par mois, ce qui exclut de considérer que la pension d'assistance qu'il doit payer à l'intimée n'est plus en rapport avec ses facultés au sens de l'art. 153 al. 2 aCC (cf. lettre C/b supra).
4.- En définitive, le recours se révèle mal fondé en tant qu'il est recevable et ne peut ainsi qu'être rejeté dans cette même mesure, ce qui entraîne la confirmation de l'arrêt attaqué. La requête d'assistance judiciaire fondée sur l'art. 152 OJ doit également être rejetée; le recours apparaissait en effet d'emblée voué à l'échec au sens de cette disposition, dès lors qu'il doit être rejeté - dans la mesure où il est recevable - dans le cadre de la procédure simplifiée de l'art. 36a OJ (cf. Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, vol. V, Berne 1992, n. 5 ad art. 152 OJ). Le recourant, qui succombe, supportera ainsi les frais judiciaires (art. 156 al. 1 OJ). Il n'aura en revanche pas à payer de dépens, l'intimée n'ayant pas été invitée à répondre au recours (Poudret/Sandoz-Monod, op.
cit. , n. 2 ad art. 159 OJ).

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1. Rejette le recours dans la mesure où il est recevable et confirme l'arrêt attaqué.
2. Rejette la requête d'assistance judiciaire du recourant.
3. Met un émolument judiciaire de 1'000 fr. à la charge du recourant.
4. Communique le présent arrêt en copie aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
_
Lausanne, le 13 décembre 2001 ABR/frs
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE :
Le Président,
Le Greffier,