Faits:
A.
A.a. Le 18 décembre 2003, l'Office des poursuites du Jura Bernois-Seeland a, à la requête de B._, notifié un commandement de payer un montant de xxxx fr. avec intérêts à 5% l'an dès le 24 juin 2003, dans la poursuite n° xxxx, à A._ en mains de sa fille, ce dernier étant à cette époque incarcéré.
A.b. Le poursuivi ayant ensuite déplacé son domicile dans le canton de Neuchâtel, l'office des poursuites de ce canton a continué la procédure suite à la réquisition de continuer la poursuite émanant du créancier B._; le 11 janvier 2005, il a invité le débiteur à une saisie fixée au 25 janvier 2005, a exécuté la saisie en présence du débiteur, qui a signé le procès-verbal de saisie le 2 mars 2005, et a délivré au créancier un acte de défaut de biens faute de biens saisissables le 21 mars 2005.
A.c. Par décision du 3 juin 2013, l'autorité inférieure de surveillance des offices des poursuites et des faillites du canton de Neuchâtel (ci-après: autorité inférieure) a déclaré irrecevable la plainte interjetée par A._ en tant qu'elle tend à faire prononcer la nullité du commandement de payer notifié le 18 décembre 2003 par l'Office des poursuites du Jura Bernois-Seeland dans la poursuite n° xxxx et l'a rejetée pour le surplus.
B.
Par arrêt du 25 novembre 2013, l'autorité supérieure de surveillance en matière de poursuites et faillites (ci-après: autorité supérieure) a rejeté le recours interjeté par A._ contre cette décision.
C.
Par acte du 2 décembre 2013, A._ interjette un recours contre l'arrêt du 25 novembre 2013. Il conclut principalement à ce que sa plainte ainsi que le recours subséquent soient déclarés recevables, à ce que la nullité de la saisie, de son exécution et des actes de défaut de biens émis dans le cadre de cette poursuite soit constatée et à ce que la procédure soit "ramenée au stade du commandement de payer original bernois". A l'appui de ses conclusions, le recourant se plaint d'une violation des art. 22, 60, 79 et 81 al. 2 de la version de la LP antérieure au 1er janvier 2011, du moins s'agissant de ces deux dernières dispositions, les deux premières n'ayant subi aucune modification.
Des réponses n'ont pas été requises.

Considérant en droit:
1.
1.1. Interjeté dans le délai (art. 46 al. 1 let. b et 100 al. 2 let. a LTF) et la forme (<ref-law>) prévus par la loi par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière de poursuite pour dettes et de faillite (<ref-law>) par une autorité cantonale de surveillance de dernière instance (<ref-law>), le recours est en principe recevable, et ce indépendamment de la valeur litigieuse (art. 74 al. 2 let. c LTF).
1.2. Le recours n'étant recevable que contre la décision de l'autorité cantonale supérieure de surveillance (<ref-law>), seules sont admissibles les conclusions tendant à la modification ou à l'annulation de cette décision.
1.3. Le recourant n'a pas dénommé son écriture. Le défaut d'intitulé ou l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que les conditions de recevabilité du recours qui serait ouvert soient réunies ( <ref-ruling> consid. 1.2 p. 382 et les arrêts cités).
2.
Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments soulevés dans le recours ni par la motivation retenue dans la décision déférée; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.1). Par ailleurs, il conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations de l'autorité précédente ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.5, 397 consid. 1.5; <ref-ruling> consid. 8.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
3.
3.1. L'autorité supérieure de surveillance a précisé dans un premier temps que seule la question de la compétence de l'autorité inférieure de surveillance pour constater la nullité du commandement de payer notifié au recourant le 18 décembre 2003 était encore litigieuse, la tardiveté éventuelle de la plainte et l'abus de droit n'ayant pas été retenus par l'autorité inférieure comme motifs de rejet de celle-ci. Elle a ensuite relevé, citant l'<ref-ruling>, que "[l]a nullité d'un acte de poursuite peut certes être invoquée en tout temps, mais [qu']elle doit l'être auprès de l'autorité compétente pour connaître du fond de l'affaire, sous peine sinon de porter sérieusement atteinte à l'ensemble du système de compétences établi". Elle en a déduit que s'agissant en l'espèce d'une décision prise par un office bernois, la surveillance exercée par la voie de la plainte doit l'être par les autorités bernoises de surveillance LP, au risque de voir une autorité du canton de Neuchâtel exercer matériellement une surveillance sur un acte diligenté par une autorité bernoise. Elle a de ce fait confirmé la décision d'irrecevabilité de la plainte de l'autorité inférieure.
3.2. Comme devant les instances précédentes, le recourant soutient que le commandement de payer dans la poursuite n° xxxx ne lui a jamais été notifié valablement dès lors qu'il était incarcéré au moment de sa prétendue notification le 18 décembre 2003 et qu'on ne lui a jamais imparti de délai pour se constituer un représentant conformément aux exigences de l'<ref-law>. Il se fonde par conséquent sur l'<ref-law> pour soutenir que l'intégralité de la procédure est nulle et que la nullité peut être invoquée en tout temps. Il soutient en outre n'avoir jamais été informé, lors de l'exécution de la saisie, disposer d'un délai de 10 jours pour soulever les exceptions prévues par l'art. 81 al. 2 aLP, invoquant à cet égard une violation des art. 79 et 81 al. 2 aLP qui entraînerait également la nullité de la procédure. Le recourant soutient également - à tort puisque l'autorité supérieure de surveillance a précisément retenu que l'irrecevabilité de la plainte n'a pas été retenue pour ces motifs - que celle-ci lui aurait reproché le non-respect du délai de 10 jours pour faire opposition, ainsi qu'un abus de droit en tant qu'il use de son droit de plainte seulement maintenant. Il prétend enfin que la décision serait "incohérente" en tant qu'elle estime que la procédure devrait être remise en cause devant les autorités de surveillance bernoises, seules les autorités du domicile actuel du supposé débiteur, à savoir les autorités neuchâteloises, étant selon lui compétentes.
4.
Le recours doit être rejeté par substitution des motifs qui suivent.
4.1. La notification irrégulière du commandement de payer n'est pas frappée de nullité absolue; l'acte est simplement annulable dans le délai de plainte de 10 jours de l'<ref-law>. Ce n'est que si l'acte n'est pas parvenu en mains du poursuivi que la poursuite est absolument nulle, et que sa nullité peut et doit être constatée en tout temps. Si, malgré le vice de la notification, le poursuivi a quand même eu connaissance du commandement de payer, il produit ses effets dès que celui-ci en a eu connaissance; dans un tel cas, le délai pour porter plainte contre la notification, ou pour former opposition, commence à courir du moment où le poursuivi a eu effectivement connaissance de l'acte (<ref-ruling> consid. 2 p. 104; arrêt 5A_6/2008 du 5 février 2008 consid. 3.2 et les arrêts cités). Dans cette hypothèse, l'autorité de surveillance n'ordonnera toutefois une nouvelle notification que si le débiteur peut se prévaloir d'un intérêt digne de protection; tel n'est pas le cas s'il a une connaissance telle du contenu de l'acte qu'une nouvelle notification n'apporterait rien de plus et pour autant que ses droits soient sauvegardés nonobstant le vice de la notification (<ref-ruling> consid. 2).
Ces principes sont également applicables en cas de notification non conforme à l'<ref-law> du commandement de payer à un détenu. En effet, cette disposition n'a pas été édictée dans l'intérêt public au sens de l'<ref-law> mais uniquement aux fins de protéger le débiteur lui-même (Thomas Bauer in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs II, 2. Aufl. 2010, n° 1 ad <ref-law>; Hugo Wyssen, Geschlossene Zeiten, Betreibungsferien und Rechtsstillstand, Diss. Basel 1995, p. 134 in initio ), de sorte que les actes de poursuite effectués sans respecter l'<ref-law> doivent être considérés seulement comme annulables, la nullité absolue ne se justifiant pas (Thomas Bauer, op. cit., n° 10 in fine ad <ref-law>; Hugo Wyssen, op. cit., p. 134 in initio; d'un autre avis s'agissant de l'hypothèse de l'omission complète de fixer un délai au sens de cette norme: Martin Sarbach, in: Kurzkommentar SchKG, 2009, n° 3 in fine ad <ref-law>).
Le Tribunal de céans a en outre retenu - dans un cas où la validité de la notification du commandement de payer était également litigieuse - que, lorsque le débiteur ne conteste pas la saisie par le biais d'une plainte ou sans se plaindre de vices de procédure intervenus précédemment, il ne peut par la suite, une fois que la poursuite est terminée et que l'acte de défaut de biens a été délivré, plus se plaindre d'éventuels vices intervenus dans la notification du commandement de payer, à défaut de quoi il violerait le principe de la bonne foi (arrêt 5C.127/2005 du 4 octobre 2005 consid. 2.2).
4.2. Ces principes sont applicables en l'espèce. En effet, il ressort du dossier cantonal que l'office des poursuites du canton de Neuchâtel a, après avoir reçu une réquisition de continuer la poursuite du créancier, envoyé au débiteur - à savoir au recourant - un avis de saisie le 11 janvier 2005, que ce dernier ne conteste d'ailleurs pas avoir reçu. Le débiteur a en outre assisté à la saisie et signé le 2 mars 2005 le procès-verbal de saisie. Il apparaît ainsi qu'il a eu connaissance de l'existence de la poursuite n° xxxx, ainsi que des sommes réclamées et de la cause de la créance au plus tard au mois de janvier 2005, lors de la réception de l'avis de saisie établi le 11 janvier 2005. Il apparaît également que le recourant n'a pas contesté la saisie qui a abouti à la délivrance au créancier d'un acte de défaut de biens. Conformément à la jurisprudence susmentionnée, le recourant ne saurait désormais, à savoir huit ans après la fin de la procédure de saisie, se prévaloir de vices intervenus dans la notification du commandement de payer.
En tant que le recourant invoque une violation des art. 79 et 81 al. 2 aLP au motif que le fonctionnaire ayant procédé à la saisie ne lui aurait pas indiqué qu'il disposerait d'un délai de 10 jours pour soulever les exceptions prévues à l'art. 81 al. 2 aLP, le recourant se méprend sur le sens à donner à cette norme. Il semble en effet se référer à l'art. 79 al. 2 aLP qui envisage l'hypothèse où l'opposition a été écartée par une décision sur le fond émanant d'un canton autre que celui de la poursuite, hypothèse dans laquelle l'office requis de continuer la poursuite doit au préalable assigner au débiteur un délai de 10 jours pour soulever les exceptions prévues à l'<ref-law>. Le cas d'espèce est toutefois différent dès lors qu'il y est question de l'introduction tardive de la plainte du débiteur s'agissant d'un vice dans la notification du commandement de payer et non du non-respect du délai pour soulever une citation ou une représentation irrégulière dans le cadre de la décision au fond écartant l'opposition, de sorte que le grief du recourant doit être écarté.
5.
En définitive, il y a lieu de rejeter, par substitution de motifs, le présent recours aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a pas été invité à répondre.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à l'Office des poursuites de La Chaux-de-Fonds et au Tribunal cantonal, Autorité supérieure de surveillance en matière de poursuites et faillites.
Lausanne, le 19 mars 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Hildbrand