Considérant en fait et en droit :
1.
Par arrêt du 21 mars 2019, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel (ci-après : la Cour d'appel civile) a déclaré irrecevable - pour cause de tardiveté - l'appel interjeté le 20 décembre 2018 par A.A._ à l'encontre du jugement rendu le 14 novembre 2018 par le Tribunal régional des Montagnes et du Val-de-Ruz dans la cause opposant A.A._ à B.A._, rejetant la demande en modification du jugement de divorce introduite le 5 février 2016 par A.A._.
2.
Par acte du 1er avril 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt concluant au fond à la recevabilité de son appel et au renvoi de la cause à l'autorité d'appel pour jugement. Au préalable, le recourant sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
3.
Le recourant se plaint de la violation de l'art. 145 al. 1 let. c CPC prévoyant la suspension des délais du 18 décembre au 2 janvier. Il expose que le délai d'appel arrivait à échéance le 19 décembre 2018, reporté au 3 janvier 2019, en sorte que son appel du 20 décembre 2018 respecte le délai de 30 jours de l'art. 311 al. 1 CPC et n'est pas tardif comme l'a jugé la Cour d'appel civile.
Par déterminations du 8 avril 2019, le Juge instructeur de l'autorité cantonale a conclu à l'admission du recours, vu l'omission de prendre en compte la suspension des délais légaux au sens de l'art. 145 al. 1 let. c CPC.
Par courrier du 13 mai 2019, l'intimée a déclaré se rallier à la position de l'autorité précédente et conclu au renvoi de la cause à celle-ci afin qu'elle procède à l'examen au fond de l'appel.
3.1. En vertu de l'art. 311 al. 1 CPC, l'appel doit être interjeté dans un délai non prolongeable de 30 jours. La réglementation relative à la suspension des délais de l'art. 145 al. 1 let. c CPC du 18 décembre au 2 janvier inclus est également applicable en procédure d'appel (cf. arrêt 5A_378/2012 du 6 décembre 2012 consid. 4.4.3), de sorte que le délai d'appel est suspendu durant seize jours (MATHYS, in Schweizerische Zivilprozessordnung (ZPO), Baker & McKenzie (éd.), 2010, n° 5 ad art. 311 CPC; REETZ/THEILER, in Kommentar zur Schweizerischen Zivilprozessordnung (ZPO), Sutter-Somm/Hasenböhler/ Leuenberger (éds), 3ème éd., 2016, n° 28 ad art. 311 CPC).
3.2. En l'occurrence, il ressort de l'arrêt déféré que le recourant a retiré le pli recommandé contenant le jugement de première instance le 19 novembre 2018, en sorte que, compte tenu des féries judiciaires, le délai légal d'appel arrivait à échéance le vendredi 4 janvier 2019 (art. 142 al. 1, 145 al. 1 let. c et 311 al. 1 CPC; supra consid. 3.1). En sanctionnant la tardiveté de l'appel sans tenir compte des féries judiciaires, l'autorité précédente a manifestement violé les art. 145 al. 1 let. c et 311 al. 1 CPC.
4.
Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision au fond.
Le recours est ainsi admis au motif que l'autorité cantonale a omis de tenir compte de la suspension légale des délais durant les féries, ce qui constitue une erreur procédurale particulièrement grave ("Justizpanne"), sans qu'aucune partie ne réponde du vice en question, de sorte que ces dernières n'ont pas à supporter de frais de justice. Les frais de justice de la Cour de céans n'ont pas non plus à être mis à la charge du canton de Neuchâtel, dont la décision a été déférée au Tribunal fédéral sans que son intérêt patrimonial ne soit en cause (art. 66 al. 4 LTF; arrêt 5A_131/2019 du 18 avril 2019 consid. 4). En revanche, les dépens du recourant et ceux de l'intimée (qui a conclu à l'admission du recours) - tous deux représentés par un avocat - doivent être supportés par le canton de Neuchâtel (art. 68 al. 1, al. 2 et al. 4 a contrario LTF); celui-ci leur versera ainsi à ce titre la somme de respectivement 1'000 fr. pour le recourant et la somme de 200 fr. pour l'intimée, pour la procédure devant le Tribunal fédéral. Dans ces circonstances, la requête d'assistance judiciaire du recourant est sans objet.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 1'000 fr. à payer au recourant à titre de dépens est mise à la charge du canton de Neuchâtel.
4.
Une indemnité de 200 fr. à payer à l'intimée à titre de dépens est mise à la charge du canton de Neuchâtel.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 23 mai 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin