Faits:
A.
A.a. Les époux X._ se sont mariés le 6 août 1977, sans conclure de contrat de mariage. Aucun enfant n'est issu de leur union.
A.b. Le 2 août 2004, Mme B.X._ a adressé une requête de mesures protectrices de l'union conjugale au Président du Tribunal civil du district de Neuchâtel s'engageant notamment à verser à son mari une contribution d'entretien mensuelle de 500 fr. du 1 er juillet 2004 au 31 juillet 2005 et acceptant qu'il conserve la rente AVS complémentaire de 423 fr. par mois qu'il percevait pour elle-même.
A.c. Lors de l'audience tenue le 17 septembre 2004, M. A.X._ a conclu reconventionnellement à l'octroi d'une contribution mensuelle en sa faveur de 1'300 fr., due en sus de la rente AVS complémentaire de 423 fr. par mois, à compter du 1 er juillet 2004 et sans limite dans le temps, ainsi que d'une provisio ad litem de 2'000 fr.
A.d. La procédure a été suspendue jusqu'au 28 avril 2006 puis reprise à la requête de M. A.X._. Lors de l'audience du 28 mars 2011, ce dernier a confirmé ses conclusions reconventionnelles formulées oralement en audience du 17 septembre 2004. Après diverses réquisitions de production de pièces complémentaires, les parties ont déposé leurs observations finales respectivement les 10 et 17 novembre 2011.
A.e. Après avoir ouvert action en divorce devant le Tribunal civil du district de Boudry, Mme B.X._ a retiré sa requête de mesures protectrices de l'union conjugale par courrier du 10 mars 2010 et a requis le classement du dossier.
Dans ses observations du 3 mai 2010, M. A.X._ s'est opposé au classement et a requis qu'il soit statué sur ses conclusions reconventionnelles.
A.f. Le 30 septembre 2011, le divorce a été prononcé, le juge du fond réservant les éventuelles contributions d'entretien à fixer par le juge des mesures protectrices de l'union conjugale.
A.g. Par ordonnance de mesures protectrices de l'union conjugale du 15 mars 2012, le Tribunal du district de Neuchâtel a pris acte du désistement de l'épouse et n'est pas entrée en matière sur la requête et les conclusions reconventionnelles formulées oralement par le mari, les considérant comme irrecevables en la forme.
B.
B.a. Le 12 novembre 2012, le Tribunal cantonal du canton de Neuchâtel (ci-après: Tribunal cantonal) a rejeté, par substitution de motifs, l'appel formé le 30 mars 2012 par M. A.X._ contre l'ordonnance de mesures protectrices de l'union conjugale du 15 mars 2012.
B.b. Parallèlement, ce même 12 novembre 2012, l'appel formé par M. A.X._ et l'appel joint formé par son épouse sur la question des effets accessoires du divorce ont tous deux été rejetés par le Tribunal cantonal qui a statué dans la même composition que pour la question des mesures protectrices de l'union conjugale.
C.
Le 14 décembre 2012, M. A.X._ interjette un recours en matière civile au Tribunal fédéral concluant principalement à la réforme de l'arrêt attaqué en ce sens que sa requête de mesures protectrices de l'union conjugale et ses conclusions reconventionnelles soient déclarées recevables et, par conséquent, à ce qu'il soit entré en matière sur celles-ci et, subsidiairement, à l'annulation de l'arrêt et au renvoi à l'instance précédente pour nouvelle décision dans le sens des considérants. A l'appui de ses conclusions, le recourant se plaint d'arbitraire dans l'appréciation des faits et de la violation arbitraire au sens de l'art. 9 Cst. des <ref-law> et de la jurisprudence y relative concernant la compétence du juge des mesures protectrices de l'union conjugale. Il requiert en outre le bénéfice de l'assistance judiciaire.
Invitées à se déterminer, l'autorité cantonale s'est référée à son arrêt et l'intimée a conclu au rejet du recours tout en sollicitant d'être mise au bénéfice de l'assistance judiciaire.

Considérant en droit:
1.
Le recours a été interjeté en temps utile (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2), rendue dans une cause de nature civile (<ref-law>) et pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Il a par ailleurs été déposé par une partie ayant pris part à la procédure devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de l'arrêt entrepris (<ref-law>). Le recours en matière civile est donc en principe recevable.
2.
La décision sur mesures protectrices de l'union conjugale étant une décision portant sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.1), seule peut être dénoncée la violation de droits constitutionnels.
2.1. Le Tribunal fédéral ne sanctionne la violation de droits constitutionnels que si un tel moyen est invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>; <ref-ruling> consid. 6; 638 consid. 2; <ref-ruling> consid. 1.4.2). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de la juridiction cantonale, mais doit démontrer, par une argumentation précise, que cette décision repose sur une application de la loi manifestement insoutenable (<ref-ruling> consid. 3 et les références citées). L'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, viole gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de cette décision soit insoutenable; encore faut-il qu'elle se révèle arbitraire dans son résultat (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 4.4.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt attaqué que s'il démontre la violation de droits constitutionnels par l'autorité cantonale (<ref-ruling> consid. 4.1).
Dans le domaine de l'appréciation des preuves et de la constatation des faits, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière à l'autorité cantonale (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 2.1); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause. Cette retenue est d'autant plus grande lorsque le juge n'examine la cause que d'une manière sommaire et provisoire (<ref-ruling> consid. 3.3 et les références; <ref-ruling> consid. 2b/bb).
2.3. En vertu des principes de la bonne foi et de l'épuisement des griefs (<ref-law>), tous les moyens nouveaux sont exclus dans le recours en matière civile au sens de l'<ref-law>, sauf dans les cas où seule la motivation de la décision attaquée donne l'occasion de les soulever, c'est-à-dire lorsque c'est cette décision qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve (<ref-law>; <ref-ruling> consid. 2; <ref-ruling> consid. 2.1 p. 343; <ref-ruling> consid. 5.2.4 p. 229; arrêts 5A_577/2010 du 18 octobre 2010 consid. 1.2, publié in: SJ 2011 I p. 101; 5A_871/2009 du 2 juin 2010 consid. 2). Les pièces postérieures à l'arrêt entrepris sont en outre d'emblée irrecevables (ATF <ref-ruling> consid. 2.1 p. 343 s.; arrêt 5A_640/2011 du 4 janvier 2012 consid. 1.4).
3.
Dans l'arrêt entrepris, l'autorité cantonale a retenu que la cause était soumise à l'ancien code de procédure civile neuchâtelois, dès lors que la requête de mesures protectrices de l'union conjugale avait été introduite le 2 août 2004. La requête avait certes été retirée le 10 mars 2010, mais l'art. 308 aCPC/NE laissait toutefois subsister les conclusions reconventionnelles en cas de désistement sur la demande principale. La cour cantonale n'a en outre pas suivi la décision du premier juge et a considéré que les conclusions reconventionnelles prises oralement par l'époux étaient parfaitement admissibles dans une procédure de mesures protectrices.
Elle a toutefois relevé que les mesures protectrices avaient été requises en 2004 déjà, que la procédure de divorce avait été introduite dans l'intervalle et avait abouti au prononcé du divorce six mois avant la décision de la juge des mesures protectrices classant la procédure. Elle a retenu qu'il était étranger à l'objectif des mesures protectrices que d'être rendues après le prononcé du divorce et que le juge ne pouvait par conséquent être considéré comme compétent pour statuer une fois le prononcé du divorce entré en force. Elle a estimé qu'il était insatisfaisant d'admettre que des mesures protectrices puissent être prononcées alors que le mariage a déjà pris fin puisque cela contreviendrait au principe selon lequel seules des mesures provisoires peuvent être ordonnées pour la durée de la procédure de divorce. Elle a également considéré qu'il n'était pas davantage satisfaisant qu'une requête de mesures protectrices ne donne finalement lieu à aucun prononcé mais que le mari aurait toutefois pu, pour pallier ce risque, demander la suspension de la procédure de divorce ou interpeller la juge des mesures protectrices afin qu'elle prenne une décision à temps, ce qu'il n'aurait pas fait en l'espèce.
4.
Le recourant sollicite en premier lieu l'admission de faits et moyens de preuve nouveaux.
4.1. Il soutient en particulier que le juge instructeur en charge de l'appel interjeté contre l'ordonnance de mesures protectrices avait forcément connaissance du contenu du jugement de divorce prononcé le 30 septembre 2011, dès lors que le Président de la Cour d'appel civile du Tribunal cantonal avait relevé qu'il convenait que la même cour et le même juge instructeur traitent les appels dirigés contre le jugement de divorce et celui interjeté contre la décision de mesures protectrices. Il soutient que le juge instructeur ne pouvait par conséquent ignorer la réserve émise en première instance par le juge du divorce concernant "les éventuelles contributions d'entretien qui pourraient être mises à la charge de la demanderesse en faveur du défendeur par le juge des mesures protectrices de l'union conjugale de Neuchâtel"et qu'il aurait du même fait dû examiner ses demandes de suspension de la procédure. Il requiert que les faits soient complétés sur ces deux points.
4.2. En l'espèce, la cour cantonale a, en procédant à une substitution de motifs, développé une argumentation juridique nouvelle à laquelle le recourant ne pouvait s'attendre. Il y a par conséquent lieu d'admettre les faits et moyens de preuve nouveaux présentés à cet égard par le recourant (cf. supra consid. 2.1 2 e paragraphe).
5.
Le recourant reproche ensuite à l'autorité cantonale d'avoir appliqué de manière arbitraire les <ref-law> ainsi que la jurisprudence relative à la compétence du juge des mesures protectrices de l'union conjugale. Il considère que la décision entreprise est également arbitraire dans son résultat.
5.1. Le recourant soutient que, selon la jurisprudence pertinente, si les mesures protectrices visent bien à sauvegarder l'union conjugale et en assurer le maintien, elles n'en doivent pas moins être ordonnées même dans l'hypothèse où la rupture du lien conjugal paraît irrémédiable, de sorte que le juge ne peut refuser d'entrer en matière pour ce motif. Le juge des mesures protectrices demeure compétent pour statuer sur la période antérieure à la litispendance de l'action en divorce et ce même s'il rend sa décision postérieurement à la décision au fond. L'ouverture de l'action en divorce ne peut par conséquent annuler la compétence du juge des mesures protectrices déjà saisi qu'en tant que les mesures requises ne portent pas sur la période antérieure à l'ouverture de l'action. Il considère qu'au vu de ce qui précède, la décision entreprise heurte de manière choquante le sentiment du droit et de l'équité.
5.2. Les mesures protectrices de l'union conjugale demeurent en vigueur même au-delà de l'ouverture de la procédure de divorce. Une fois ordonnées, elles ne peuvent être modifiées par le juge des mesures provisionnelles qu'aux conditions de l'<ref-law> (arrêt 5A_547/2012 du 14 mars 2013 consid. 4.2 et les références). Si le juge des mesures provisionnelles n'est pas saisi, les mesures protectrices ordonnées avant la litispendance continuent de déployer leurs effets. Il importe dès lors peu, s'il n'y a pas de conflit de compétences, qu'en raison du temps nécessaire au traitement du dossier par le tribunal, la décision de mesures protectrices ait été rendue avant ou après la litispendance de l'action en divorce (<ref-ruling> consid. 2 et 3; <ref-ruling> consid. 3.3.2).
Les mesures protectrices seront remplacées par les contributions d'entretien que fixe le juge du divorce conformément aux art. 125 et 133 CC, éventuellement à compter de la date à laquelle le juge du divorce aura fait rétroagir les contributions post-divorce. En cas d'appel sur les contributions fixées par le jugement de divorce, les mesures protectrices perdurent durant la procédure d'appel cantonale (arrêt 5A_725/2008 du 6 août 2009 consid. 3.1.3 publié in: FamPra.ch 2009 p. 1035).
Dans le même esprit et pour les mêmes motifs, tirés des relations entre les <ref-law> et 137 al. 2a CC, le Tribunal fédéral a d'ailleurs jugé que lorsque la litispendance cesse, sans toutefois qu'un jugement de divorce n'ait été rendu, le juge des mesures provisionnelles n'est plus compétent pour modifier ces mesures; seul le juge des mesures protectrices l'est dans ce cas, aux conditions de l'<ref-law>. Néanmoins, les effets des mesures provisionnelles ordonnées pour la durée de la vie séparée perdurent et continuent à déployer leurs effets tant que les parties demeurent séparées et que le juge des mesures protectrices ne les a pas modifiées sur requête des parties (<ref-ruling> consid. 3.2.3; arrêts 5A_147/2012 du 26 avril 2012 consid. 4.2; 5A_720/2011 du 8 mars 2012 consid. 4.1.2; 5A_737/2012 du 23 janvier 2013 consid. 3; 5A_778/2012 du 24 janvier 2013 consid. 3).
5.3. Il ressort ainsi des dispositions de droit matériel et de la répartition des compétences concrétisée par la jurisprudence susmentionnée que le juge des mesures protectrices fixe les contributions d'entretien dues pour toute la durée de la procédure de divorce, jusqu'à l'entrée en vigueur des contributions respectivement des art. 125 et 133 CC, lorsque des modifications au sens de l'<ref-law> n'ont pas justifié un prononcé de mesures provisionnelles dans l'intervalle. En l'espèce, aucune mesure provisionnelle n'a été prononcée et il ressort du jugement de divorce que l'intimée n'a été condamnée au versement d'aucune contribution d'entretien post-divorce en faveur de son ex-époux, seule une rente due en vertu de l'<ref-law> étant allouée à ce dernier. Le recourant demeure donc créancier des éventuelles prestations pécuniaires auxquelles il est en droit de prétendre en vertu de l'art. 137 al. 2a CC pour la période précédant l'entrée en force du jugement de divorce dès lors qu'aucune contribution d'entretien n'a été allouée, étant au demeurant rappelé que le jugement de divorce réservait expressément les éventuelles contributions qui pouvaient encore être fixées par le juge des mesures protectrices et que le recourant avait expressément pris des conclusions tendant à l'octroi en sa faveur de contributions à compter du 1 er juillet 2004. Le droit du recourant de faire fixer les contributions d'entretien qui pourraient lui être dues à ce titre et qu'il a fait valoir en temps utile ne s'est pas éteint, ni à l'ouverture de la procédure de divorce (cf. ATF <ref-ruling> consid. 3.3.2), ni au jour de l'entrée en force du prononcé de divorce, comme le soutient l'intimée.
Au vu de ce qui précède, le recours doit être admis et la cause renvoyée à l'autorité cantonale afin qu'elle examine dans quelle mesure le recourant peut prétendre à l'octroi d'une contribution d'entretien pour la période du 1 er juillet 2004 à l'entrée en force du jugement de divorce et cas échéant qu'elle en arrête le montant.
Il est dès lors superflu d'examiner les autres griefs du recourant, à savoir le grief d'arbitraire dans la constatation des faits et de violation de l'art. 9 Cst.
6.
Dès lors qu'il y a lieu de procéder à des instructions complémentaires, il est expédient de renvoyer la cause au Tribunal du district de Neuchâtel (autorité de première instance) pour nouvelle instruction et décision dans le sens des considérants (art. 107 al. 2 2 e phr. LTF). L'intimée qui succombe doit être condamnée aux frais et dépens de la procédure (art. 66 al. 1 et 68 al. 1 LTF) et sa requête d'assistance judiciaire doit être rejetée, dès lors que ses conclusions étaient d'emblée dépourvues de toutes chances de succès (<ref-law>). La demande d'assistance judiciaire du recourant est admise.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée au Tribunal du district de Neuchâtel pour instruction et nouvelle décision dans le sens des considérants.
2.
La demande d'assistance judiciaire du recourant est admise et Me Christiane Terrier lui est désignée comme avocate d'office pour la procédure fédérale.
3.
La requête d'assistance judiciaire de l'intimée est rejetée.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de l'intimée.
5.
Une indemnité de 2'000 fr., à verser au recourant à titre de dépens, est mise à la charge de l'intimée.
6.
Au cas où les dépens ne pourraient être recouvrés, la Caisse du Tribunal fédéral versera à Me Christiane Terrier une indemnité de 2'000 fr. à titre d'honoraires.
7.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Neuchâtel, Cour d'appel civile.
Lausanne, le 17 mai 2013
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Hildbrand