Faits:
A.
A.a. Les époux X._ se sont mariés le 13 juin 1997. Deux enfants sont issus de cette union: C._, née le 20 décembre 1997 et D._, né le 3 décembre [recte: novembre] 2000.
Par jugement du 7 juin 2004, le Tribunal civil du district de Neuchâtel a prononcé le divorce des conjoints et ratifié la convention du 22 octobre 2003 sur les effets accessoires de celui-ci, convention selon laquelle l'autorité parentale et la garde des enfants étaient attribuées à la mère, le père s'engageant à contribuer à leur entretien par le versement d'une pension mensuelle de 450 fr. par enfant jusqu'à l'âge de six ans, 500 fr. jusqu'à l'âge de douze ans, 550 fr. jusqu'à l'âge de seize ans et 600 fr. jusqu'à la majorité ou la fin d'une formation régulièrement menée, allocations familiales en sus. Ladite convention prévoyait en outre en faveur de l'épouse une contribution d'entretien mensuelle d'un montant de 550 fr. jusqu'à fin 2003, 500 fr. jusqu'en novembre 2006 et 450 fr. jusqu'à fin 2007.
A.b. Le 12 juillet 2006, le mari a déposé une première demande en modification du jugement de divorce, rejetée par jugement du 31 octobre 2008, lequel a été confirmé par arrêt sur appel du 31 mai 2010.
B.
Le mari a déposé une nouvelle demande en modification du jugement de divorce le 2 décembre 2010, concluant à ce que le montant des contributions d'entretien pour ses enfants soit réduit à 135 fr. en faveur de chacun d'eux dès le 1er janvier 2010. Par jugement du 26 février 2013, le Tribunal civil du Littoral et du Val-de-Travers a rejeté la demande.
Statuant par arrêt du 6 septembre 2013, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel du mari et confirmé le jugement de première instance.
C.
Par acte du 9 octobre 2013, posté le lendemain, le mari exerce un recours en matière civile contre l'arrêt du 6 septembre 2013, reprenant principalement ses conclusions de première instance et demandant, subsidiairement, le renvoi de la cause à l'autorité précédente pour qu'elle statue dans le sens des considérants.
L'intimée propose le rejet du recours.
Les deux parties sollicitent par ailleurs le bénéfice de l'assistance judiciaire.
L'autorité cantonale s'est référée aux considérants de son arrêt.
D.
Par ordonnance du 31 octobre 2013, le Président de la cour de céans a rejeté la requête d'effet suspensif.

Considérant en droit:
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>), prise par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>) dont la valeur litigieuse atteint 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 1ère phrase et 74 al. 1 let. b LTF). Il a été interjeté en temps utile (<ref-law>) et en la forme prévue par la loi (<ref-law>), par une partie qui a pris part à la procédure devant l'autorité précédente (<ref-law>) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (<ref-law>).
1.2. Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité, le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (arrêt 5A_129/2007 du 28 juin 2007 consid. 1.4). Le Tribunal fédéral ne connaît en outre de la violation des droits fondamentaux que si ce grief a été soulevé et dûment motivé par le recourant (principe d'allégation, <ref-law>; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2).
1.3. Le Tribunal fédéral conduit son raisonnement sur la base des faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (<ref-law>), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2.2), doit satisfaire au principe d'allégation susmentionné (cf. supra, consid. 1.2). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>); il en est ainsi même lorsque la maxime d'office ou la maxime inquisitoire est applicable (<ref-ruling> consid. 1c [ad art. 55 al. 1 let. c OJ]).
De jurisprudence constante, le Tribunal fédéral se montre réservé dans le domaine de l'appréciation des preuves et de la constatation des faits, vu le large pouvoir qu'il reconnaît en la matière aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables; encore faut-il que la décision attaquée en soit viciée dans son résultat (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1).
2.
Le litige a pour objet la modification du jugement de divorce, en ce sens que les contributions d'entretien en faveur de chacun des enfants sont réduites à 135 fr. par mois dès le 1er janvier 2010.
2.1. La modification ou la suppression de la contribution d'entretien de l'enfant, fixée dans un jugement de divorce, est régie par l'<ref-law>, applicable par renvoi de l'<ref-law>. Elle suppose que des faits nouveaux importants et durables soient survenus dans la situation du débirentier ou du parent gardien, qui commandent une réglementation différente; la procédure de modification n'a pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles intervenant chez les parents ou l'enfant. Le fait revêt un caractère nouveau lorsqu'il n'a pas été pris en considération pour fixer la contribution d'entretien dans le jugement de divorce. Le moment déterminant pour apprécier si un fait nouveau s'est produit est la date du dépôt de la demande de modification (<ref-ruling> consid. 4.1.1; <ref-ruling> consid. 2.7.4; <ref-ruling> consid. 3a, 285 consid. 4b).
2.2. En l'espèce, l'arrêt attaqué retient qu'au moment du divorce, le débirentier réalisait un revenu mensuel net de 3'033 fr. en travaillant comme cuisinier dans le restaurant exploité en Suisse par ses parents; il percevait en outre des allocations familiales de 340 fr. par mois. La crédirentière était quant à elle employée en électronique à 80% et bénéficiait d'un revenu mensuel net de 2'470 fr., treizième salaire non compris.
Selon l'autorité cantonale, les seuls faits nouveaux non pris en compte dans la première procédure en modification de jugement de divorce sont le déménagement du débirentier en France et la nouvelle situation financière qui en découlerait, celui-ci alléguant que depuis son installation dans ce pays, en janvier 2010, il ne dispose d'aucun revenu et se trouve entièrement à la charge de son amie, le commerce de bijoux, minéraux et fossiles par internet dont elle est propriétaire constituant l'activité propre de celle-ci. Pour les juges précédents, si le débirentier était certes libre de s'établir en France, il n'en demeure pas moins que ce choix n'était nullement conforme à celui qu'on pouvait attendre d'un débirentier disposé à faire preuve de bonne volonté pour s'acquitter des contributions d'entretien en faveur de ses enfants mineurs. Cette option ne pouvait être considérée comme irréversible et il ne tenait qu'à l'intéressé de revenir en Suisse où, âgé de moins de 45 ans, en bonne santé et bénéficiant de plusieurs années d'expérience dans la restauration, il serait à même de réaliser un revenu égal ou supérieur à celui de 3'033 fr. net par mois qu'il percevait au moment du divorce. En effet, la CCNT (Convention collective nationale de travail pour les hôtels, restaurants et cafés) prévoyait, dès le 1er janvier 2009, un salaire mensuel brut de 3'383 fr. pour les collaborateurs sans apprentissage. Or, bien que n'étant pas titulaire d'un certificat fédéral de capacité (CFC), il avait tout de même travaillé cinq ans et demi dans le restaurant exploité par ses parents et, auparavant, plus de cinq ans dans un autre établissement, sans compter quelques expériences antérieures; par ailleurs, il n'avait déposé aucune preuve de recherches d'emploi effectuées en France, dans le domaine de la restauration et de l'hôtellerie ou dans un autre secteur. Vu les exigences particulièrement élevées posées par la jurisprudence quant à la mise à profit de la capacité de gain du parent débirentier de pensions en faveur d'enfants mineurs, la cour cantonale a dès lors considéré que l'intéressé serait à même de réaliser, en faisant preuve de bonne volonté, un salaire au moins équivalent à celui qu'il percevait au moment du divorce, et que la demande de modification du jugement de divorce avait ainsi été rejetée à juste titre par l'autorité de première instance.
3.
Le recourant expose que, depuis le jugement de divorce, il a perdu son emploi et a déménagé en France, où il vit à la charge de sa compagne. Selon lui, il convient ainsi de retenir qu'il existe des faits nouveaux importants et durables, qui commandent une réglementation différente des contributions d'entretien. Il reproche en particulier à la cour cantonale d'avoir arbitrairement, et contrairement aux règles de la bonne foi, omis de prendre en considération les éléments de preuve démontrant qu'il ne perçoit aucun revenu malgré ses recherches entreprises dans le cadre du RSA (revenu de solidarité active), considérant faussement qu'il ne dévoilerait pas tout au sujet de sa situation financière. Il affirme en outre qu'il lui serait impossible de trouver un travail similaire à celui qu'il occupait dans le restaurant de ses parents à Y._. Enfin, on ne saurait exiger de lui qu'il procède à davantage de recherches d'emploi ni qu'il revienne en Suisse, où il n'a plus ni logement, ni vie familiale et où aucun travail ne lui serait assuré.
3.1. A teneur de l'<ref-law>, la contribution d'entretien doit correspondre aux besoins de l'enfant ainsi qu'à la situation et aux ressources des père et mère (arrêt 5A_511/2010 du 4 février 2011 consid. 2.1). L'obligation d'entretien trouve sa limite dans la capacité contributive du débirentier, en ce sens que le minimum vital de celui-ci doit être préservé (<ref-ruling> consid. 2; <ref-ruling> consid. 3b/bb et consid. 5 in fine). S'agissant toutefois de l'obligation d'entretien d'un enfant mineur, les exigences à l'égard des père et mère sont plus élevées, en sorte que ceux-ci doivent réellement épuiser leur capacité maximale de travail et ne peuvent pas librement choisir de modifier leurs conditions de vie si cela a une influence sur leur capacité à subvenir aux besoins de l'enfant mineur (<ref-ruling> consid. 3.1; arrêt 5A_513/2012 du 17 octobre 2012 consid. 4). Il s'ensuit que lorsqu'il ressort des faits que l'un des parents, ou les deux, ne fournissent pas tous les efforts que l'on peut attendre d'eux pour assumer leur obligation d'entretien, le juge peut s'écarter du revenu effectif des parties pour fixer la contribution d'entretien, et imputer un revenu hypothétique supérieur, tant au débiteur de l'entretien qu'au parent gardien. Il s'agit ainsi d'inciter la personne à réaliser le revenu qu'elle est en mesure de se procurer et dont on peut raisonnablement exiger d'elle qu'elle l'obtienne afin de remplir ses obligations à l'égard du mineur (<ref-ruling> consid. 4a; arrêts 5A_165/2013 du 28 août 2013 consid. 4.1; 5A_99/2011 du 26 septembre 2011 consid. 7.4.1 publié in: FamPra.ch 2012 p. 228). Le fait qu'un débirentier bénéficie actuellement d'un revenu d'insertion ne dispense pas le juge civil d'examiner si l'on peut lui imputer un revenu hypothétique. En effet, le juge civil n'est pas lié par l'instruction menée par les autorités administratives. En outre, les critères qui permettent de retenir un revenu hypothétique sont différents en droit de la famille et en droit social; en droit de la famille, lorsque l'entretien d'un enfant mineur est en jeu et que l'on est en présence de situations financières modestes, le débirentier peut notamment se voir imputer un revenu basé sur une profession qu'il n'aurait pas eu à accepter selon les règles prévalant en matière d'assurance sociale (<ref-ruling> consid. 3.1; arrêts 5A_248/2011 du 14 novembre 2011 consid. 4.1; 5A_588/2010 du 12 janvier 2011 consid. 2.3).
Lorsque le juge entend tenir compte d'un revenu hypothétique, il doit examiner successivement deux conditions. Tout d'abord, il doit juger si l'on peut raisonnablement exiger de cette personne qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit (arrêts 5A_243/2013 du 24 juillet 2013 consid. 2.1; 5A_99/2011 précité). Lorsqu'il tranche celle-ci, le juge ne peut pas se contenter de dire, de manière toute générale, que la personne en cause pourrait obtenir un revenu supérieur en travaillant; il doit préciser le type d'activité professionnelle que cette personne peut raisonnablement devoir accomplir. Ensuite, il doit examiner si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit-là d'une question de fait (<ref-ruling> consid. 4.2.2.2; <ref-ruling> consid. 4c/bb; arrêt 5A_587/2013 du 26 novembre 2013 consid. 6.1.2).
3.2.
3.2.1. Contrairement à ce que prétend le recourant, l'autorité cantonale n'a pas ignoré qu'il est désormais établi en France, ni qu'il a produit des pièces selon lesquelles il perçoit le RSA et n'est pas imposable sur le revenu. De même, lorsqu'il affirme que les juges précédents n'ont pas tenu compte de l'attestation de sa qualité d'ayant droit du régime social des indépendants, du fait que sa compagne est seule propriétaire et gérante des sites informatiques dans le cadre desquels il effectue certaines tâches et de la déclaration sur l'honneur de celle-ci, qui démontreraient qu'il est entièrement à sa charge, le recourant se méprend sur le contenu de la décision querellée.
L'autorité précédente a en en effet retenu qu'il avait déposé, pour établir sa situation financière, sa déclaration de revenus 2010, dans laquelle il ne mentionnait aucunes ressources, accompagnée de la constatation, portant le timbre humide de l'Hôtel des impôts de Bayonne du 16 mai 2011, que la déclaration déposée ne comportait aucun revenu, de sorte que l'intéressé n'était pas imposable à l'impôt sur le revenu, d'un avis d'impôt sur le revenu 2011 comportant la même indication et d'une attestation de paiement de la Caisse d'allocations familiales de Bayonne du 15 avril 2012 selon laquelle le couple qu'il formait avec sa compagne avait bénéficié, pour le mois de mars 2012, d'une allocation de logement de 320.27 euros et du revenu de solidarité active de 598.42 euros, soit au total 918.69 euros. Cette attestation précisait que le montant du revenu d'activité pris en compte était nul. Lors de son interrogatoire du 18 avril 2012, l'intéressé avait certes déclaré qu'il dépendait financièrement de son amie et qu'il effectuait des tâches informatiques pour le compte de la société de celle-ci, en étant rémunéré partiellement en nature et en touchant la moitié du montant mentionné sur l'attestation précitée, soit 460 euros. Selon lui, il n'était pas en mesure de dire quels revenus étaient générés par la société de son amie, mais il supposait que ceux-ci étaient nuls, comme mentionné sur l'attestation de la Caisse d'allocations familiales. Pour la cour cantonale, de telles déclarations n'étaient pas vraisemblables. Prises à la lettre, elles signifiaient qu'il lui importait peu de travailler gratuitement - hormis certaines prestations en nature - pour une entreprise éventuellement bénéficiaire. On ne comprenait pas non plus comment lui et sa compagne pouvaient assurer leur subsistance et s'acquitter du loyer de la maison, comportant quatre pièces principales et une surface de 93 m2, qu'ils louaient depuis le 1er décembre 2009 pour un loyer mensuel de 1'220 euros, en ayant pour seul revenu la mensualité de 918.69 euros versée par la Caisse d'allocations familiales. Au reste, certaines de ses déclarations étaient contradictoires puisque lors de son interrogatoire, il avait tout d'abord indiqué qu'il prélevait les 200 euros versés en faveur de ses enfants sur son RSA, puis que c'était sa mère qui les payait directement. Quoi qu'il s'en défendît, on ne pouvait donc que retenir qu'il n'avait pas fait preuve de transparence et ne dévoilait pas tout concernant sa situation financière.
Par son argumentation, essentiellement appellatoire, le recourant ne démontre pas que l'autorité cantonale aurait procédé sur ce point à une appréciation insoutenable des preuves, et ce quand bien même sa compagne aurait attesté sur l'honneur subvenir à ses besoins les plus élémentaires faute pour lui de bénéficier d'un revenu. Autant qu'il est suffisamment motivé (<ref-law>), le grief d'arbitraire dans la détermination de sa situation financière effective est donc infondé.
3.2.2. Dans la mesure où le recourant fait grief à l'autorité cantonale de lui avoir imputé un revenu hypothétique, son argumentation ne met en évidence aucune violation du droit fédéral, pas plus qu'elle ne démontre d'arbitraire dans l'appréciation des faits. Il soutient d'abord qu'il lui serait impossible de trouver un emploi en France, comme en attesterait le contrat d'engagements réciproques RSA, selon lequel le bénéficiaire s'engage à définir et formuler un projet visant à retrouver un emploi, à participer activement à diverses actions permettant d'atteindre les objectifs et à faire régulièrement le point avec un référant: ces allégations ne démontrent pas que l'autorité cantonale aurait arbitrairement retenu qu'il n'avait déposé aucune preuve de recherches d'emploi effectuées en France, dans le domaine de la restauration et de l'hôtellerie ou dans un autre secteur.
Quoi qu'il en soit, les juges précédents ont considéré qu'il ne tenait qu'à lui de revenir en Suisse où, compte tenu de son âge, de son état de santé et de ses années d'expérience dans la restauration, il serait à même de réaliser, selon la CCNT, un salaire mensuel brut de 3'383 fr. Sur ce point, le recourant se contente d'affirmer que l'autorité cantonale a procédé à une constatation non seulement inexacte des faits mais, au surplus, en contradiction avec les pièces du dossier, et qu'elle s'est manifestement trompée sur sa prétendue absence de volonté à rechercher un travail pouvant lui procurer un revenu minimum correspondant à son précédent salaire: cette argumentation, purement appellatoire, ne suffit pas à démontrer l'arbitraire (<ref-law>). On ne voit pas non plus en quoi la cour cantonale aurait à cet égard violé le droit fédéral, ce que le recourant ne prétend du reste pas (<ref-law>).
3.2.3. Autant qu'elles sont recevables, les autres critiques du recourant n'établissent pas non plus que l'arrêt attaqué serait, comme il le prétend, entaché d'arbitraire. Dans la mesure où il expose que les besoins concrets des enfants n'ont pas été examinés ni chiffrés, bien que les contributions fixées en leur faveur au moment du divorce fussent déjà trop élevées, il méconnaît que la procédure de modification du jugement de divorce n'a pas pour but de corriger le premier jugement, mais de l'adapter aux circonstances nouvelles intervenant chez les parents ou l'enfant. Or, la cour cantonale a considéré, sans qu'on puisse lui reprocher d'avoir fait preuve d'arbitraire ni violé le droit fédéral (cf. supra, consid. 3.2.2), que l'intéressé serait à même de réaliser, en faisant preuve de bonne volonté, un salaire au moins équivalent à celui qu'il percevait lors du divorce. Par ailleurs, il importe peu que l'arrêt entrepris ne tienne pas compte du disponible de l'intimée, une éventuelle amélioration de sa situation financière n'ayant été ni invoquée, ni a fortiori établie en instance cantonale. Enfin, l'allégation selon laquelle l'Office de recouvrement et d'avances des contributions d'entretien du canton de Neuchâtel (ORACE) aurait accepté, du moins tacitement, qu'il ne verse plus que 200 euros par mois pour ses enfants est en l'occurrence sans pertinence.
4.
En conclusion, le recours apparaît mal fondé et ne peut dès lors qu'être rejeté, dans la mesure où il est recevable. Les conclusions du recourant étaient d'emblée dénuées de chances de succès, de sorte que sa requête d'assistance judiciaire ne saurait être agréée (<ref-law>). Celui-ci supportera par conséquent les frais de la présente procédure (<ref-law>) et versera en outre des dépens à l'intimée (art. 68 al. 1 et 2 LTF), dont la requête d'assistance judiciaire devient ainsi en principe sans objet; il convient néanmoins d'y donner suite et de prévoir l'indemnisation de son conseil pour le cas où les dépens ne pourraient être recouvrés (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
La requête d'assistance judiciaire de l'intimée est admise, autant qu'elle n'est pas sans objet, et Me Françoise Desaules, avocate à Neuchâtel, lui est désignée comme conseil d'office.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
5.
Le recourant versera à l'intimée une indemnité de 2'000 fr. à titre de dépens; au cas où les dépens ne pourraient être recouvrés, la Caisse du Tribunal fédéral versera à l'intimée une indemnité de 1'800 fr. à titre d'honoraires d'avocat d'office.
6.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 11 avril 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Mairot