Faits :
A.
A.a. A._ a été condamné en 2010 à une peine privative de liberté à vie. Il a été détenu pendant une dizaine d'années, avec quelques interruptions, aux Etablissements de la Plaine de l'Orbe, dans la canton de Vaud (ci-après: EPO). Pendant cette détention, des commandements de payer lui ont été notifiés à cet endroit.
A.b. Le 13 novembre 2018, A._ a été transféré, pour une durée illimitée, à l'établissement d'exécution des peines de Bellevue, à Gorgier (ci-après: EEPB).
A.c.
A.c.a. Le 25 janvier 2019, l'Office des poursuites du district du Jura-Nord vaudois, à Yverdon-les-Bains, a avisé celui de Neuchâtel (ci-après: office) de ce transfert.
A.c.b. Le 28 janvier 2019, l'office a invité A._ à se constituer, dans un délai de deux semaines, un représentant légal au sens de l'<ref-law>. L'intéressé ne s'est pas manifesté à ce sujet.
A.d. Entre le 14 février 2019 et le 30 avril 2020, l'office a enregistré huit poursuites et ouvert deux séries de poursuites au nom de A._. Plusieurs poursuites ont été notifiées au poursuivi à l'EEPB. L'intéressé y a fait opposition.
A.e. Entre le 4 mars 2019 et le 19 mai 2020, A._ a envoyé à l'office divers courriers dans lesquels il contestait la compétence de ce dernier et mentionnait qu'il tenait à garder, en tant que for de la poursuite, l'Office des poursuites du district du Jura-Nord vaudois.
L'office a répondu au poursuivi par plusieurs courriers que le for de la poursuite se trouvait dans le canton de Neuchâtel puisqu'il séjournait à la prison de Gorgier.
B.
B.a.
B.a.a. Le 19 mai 2020, A._ a envoyé à l'office un nouveau courrier dans lequel il contestait le for de la poursuite dans le canton de Neuchâtel.
B.a.b. Le 15 juin 2020, l'office a notamment transmis à l'Autorité cantonale inférieure de surveillance du canton de Neuchâtel (ci-après: autorité inférieure de surveillance) ce courrier en la priant de l'enregistrer comme une plainte au sens de l'<ref-law>.
Interpellé par l'autorité inférieure de surveillance, A._ a écrit le 24 juin 2020 qu'il considérait ne pas avoir déposé de plainte, mais en réitérant qu'il ne reconnaissait pas la compétence de l'office. Il a précisé qu'il avait été transféré contre son gré à l'EEPB pour une durée très limitée et qu'il résidait encore dans le canton de Vaud.
Dans ses observations du 1 er juillet 2020, l'office a indiqué que A._ était incarcéré à l'EEPB pour une longue durée, la date de sortie étant inconnue. Il a dès lors conclu au rejet de la plainte.
B.a.c. Par décision du 27 juillet 2020, l'autorité inférieure de surveillance a rejeté la plainte.
B.b. Par arrêt du 13 août 2020, l'Autorité supérieure de surveillance en matière de poursuites et faillites du Tribunal cantonal du canton de Neuchâtel a rejeté le recours interjeté le 3 août 2020 par A._.
C.
Par acte posté le 24 août 2020, A._ interjette un recours en matière civile et un recours constitutionnel subsidiaire contre cet arrêt devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt du 13 août 2020 et au renvoi de la cause à l'autorité cantonale. En substance, il se plaint de la violation des art. 46 et 51 LP, 23 s. CC, ainsi que de celle des art. 9, 29 al. 2 et 35 al. 2 Cst.
Le 14 septembre 2020, il a requis d'être exonéré du paiement de l'avance de frais de 500 fr., précisant le 22 septembre 2020 qu'il ne considérait pas de la sorte solliciter l'assistance judiciaire.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Le recours a été déposé dans le délai légal (<ref-law>) à l'encontre d'une décision finale (<ref-law>) prise en matière de poursuite pour dettes et faillite (<ref-law>) par une autorité cantonale supérieure de surveillance statuant sur recours (art. 75 al. 1 et 2 LTF). Il est ouvert sans égard à la valeur litigieuse (art. 74 al. 2 let. c LTF). Le débiteur, qui a succombé en instance cantonale, a qualité pour recourir (<ref-law>).
Il suit de là que le recours en matière civile est recevable, et, en conséquence, que le recours constitutionnel subsidiaire ne l'est pas (<ref-law>).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision (<ref-ruling> consid. 1.2.2).
3.
L'autorité supérieure a établi que le recourant n'avait plus de domicile à V._ (VD), même si ses papiers y étaient encore déposés, car la maison dont il était propriétaire dans cette localité avait été vendue aux enchères en novembre 2013, à la demande de ses créanciers, et que le poursuivi ne soutenait pas que quelqu'un y vivrait, chez qui il pourrait retourner à sa libération. Elle a ensuite retenu que, dans ses lettres à l'office des 23 avril et 7 octobre 2019, le poursuivi avait prétendu que son domicile se trouvait à V._, mais n'avait jamais évoqué de domicile à W._, chez son amie. Il avait de plus demandé qu'on reconnaisse la compétence de l'office des poursuites d'Yverdon-les-Bains, alors que V._ n'est pas une localité se trouvant dans l'arrondissement couvert par cet office. L'autorité supérieure de surveillance a ajouté que l'office des poursuites d'Yverdon-les-Bains avait, au demeurant, rejeté le 6 février 2020 une réquisition de poursuite contre le poursuivi, en retenant que l'adresse de W._ était une adresse secondaire qui ne constituait pas un for de poursuite et que, vu l'incarcération du prévenu, l'office compétent était celui de Neuchâtel; en outre, le poursuivi ne prétendait pas qu'il pourrait aller habiter chez son amie s'il était libéré. Sur la base de ces éléments, en particulier des arguments contradictoires du poursuivi, formulés pour les besoins de la cause, elle a jugé que celui-ci n'avait plus de domicile à V._, qu'il ne s'était pas constitué de nouveau domicile à W._, qu'il n'avait pas de domicile fixe et que le for de la poursuite devait en conséquence être fixé à son lieu de séjour, conformément à l'<ref-law>, soit à Gorgier où se trouvait l'EEPB. Elle a précisé que le placement du poursuivi dans cet établissement n'était pas temporaire puisqu'il y séjournait depuis le 13 novembre 2018 et que rien n'indiquait qu'un prochain transfert était envisagé.
4.
Le recourant soutient que l'autorité supérieure de surveillance méconnaît le sens de l'<ref-law> qui n'interdit pas à l'office des poursuites d'Yverdon-les-Bains d'adresser ses actes de poursuite au lieu de séjour d'un détenu et le fait qu'il n'a pas renoncé volontairement à son domicile dans la commune de V._. Il affirme également qu'elle viole les art. 46, 51 LP et 23 s. CC. Il expose à cet égard qu'il a déposé ses papiers en 2004 dans la commune de V._, qu'il n'a pas renoncé à y retourner une fois sa peine exécutée et qu'il n'a jamais fait part de son intention de séjourner au lieu de sa détention à l'EEPB, qui résulte de la contrainte et qui ne constitue pas son centre d'intérêts. Il ajoute que, étant donné qu'il ne s'est pas créé de nouveau domicile à Gorgier, son domicile demeure à V._. Enfin, il soutient qu'en tant que copropriétaire de plusieurs immeubles dans la région de U._, il y existe un for spécial où les poursuites doivent avoir lieu.
5.
5.1.
5.1.1. Le for de la poursuite est au domicile du débiteur (<ref-law>). Pour déterminer le domicile, les principes généraux de l'<ref-law> sont applicables. Le domicile d'une personne se trouve en conséquence au lieu où elle séjourne avec le dessein d'y rester de façon durable et dont elle a fait le centre de ses relations existentielles. Cette notion comporte deux éléments: l'un objectif, la présence physique en un lieu donné; l'autre subjectif, l'intention d'y demeurer durablement (<ref-ruling> consid. 5.2; <ref-ruling> consid. 3.6; <ref-ruling> consid. 4.3; arrêt 5A_278/2017 du 19 juin 2017 consid. 3.1). S'agissant de ce dernier élément, la jurisprudence ne se fonde pas sur la volonté interne de l'intéressé; seules sont décisives les circonstances objectives, reconnaissables pour les tiers, permettant de déduire une telle intention (<ref-ruling> consid. 5.2; <ref-ruling> consid. 3.6; <ref-ruling> consid. 2b; <ref-ruling> consid. 2b/bb). A cet égard, les documents administratifs tels que permis de circulation, permis de conduire, papiers d'identité, attestations de la police des étrangers, des autorités fiscales ou des assurances sociales, ou encore les indications figurant dans des décisions judiciaires ou des publications officielles ne sont pas déterminants à eux seuls. Ils constituent certes des indices sérieux de l'existence du domicile mais ne sauraient toutefois l'emporter sur le lieu où se focalise un maximum d'éléments concernant la vie personnelle, sociale et professionnelle de l'intéressé (<ref-ruling> consid. 5.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 3; arrêt 5A_278/2017 précité consid. 3.1.1.1). Si le débiteur perd le domicile qu'il avait jusqu'alors, sans qu'il s'en crée un nouveau, l'<ref-law> n'est pas applicable pour retenir l'existence d'un for ordinaire de poursuite. Sans domicile fixe, il peut en revanche être poursuivi au for spécial de son lieu de séjour consacré à l'<ref-law> (ATF 119 II consid. 2a et 2c; arrêt 7B.174/2005 du 31 octobre 2005 consid. 4.2 et 4.3).
5.1.2. La mise en détention d'une personne dans un établissement pénitentiaire ne constitue pas de domicile, faute pour elle d'avoir l'intention de s'y établir. C'est pourquoi, tant que le détenu a quelqu'un au domicile qu'il avait jusqu'alors chez qui il pourra retourner, ce domicile et le for de la poursuite sont conservés à cet endroit. En revanche, le détenu qui a perdu son domicile doit être poursuivi à son lieu de séjour (KRÜSI, in SK Kommentar SchKG, 4ème éd. 2017, n° 29 ad <ref-law>; SCHMID, in Basler Kommentar, SchKG I, 2ème éd. 2010, n° 51 ad <ref-law>).
5.1.3. Le lieu où la personne réside (élément objectif) et son intention de s'établir (élément subjectif) relèvent de l'établissement des faits, que le Tribunal fédéral ne corrige qu'en cas d'arbitraire (<ref-law> et 9 Cst.). Si ces manifestations de volonté relèvent du fait, les conclusions à en tirer au sens des <ref-law> et 46 LP constituent une question de droit que le Tribunal fédéral examine librement (<ref-law>; ATF <ref-ruling> consid. 4.3; <ref-ruling> consid. 2a et la référence citée; arrêt 5A_278/2017 du 19 juin 2017 consid. 3.1.2).
5.2. En l'espèce, la motivation de l'autorité cantonale est conforme aux règles précitées et il convient d'y renvoyer, le recours étant manifestement infondé (cf. <ref-law>) : il est constant que, détenu pour une durée indéterminée à l'EEPB sis à Gorgier, le recourant ne séjourne objectivement plus à V._, ce qui exclut déjà que son domicile se situe dans cette commune. Au demeurant, même l'aspect subjectif de la notion de domicile n'est pas réalisé, les intentions futures du recourant et le fait qu'il y conserve ses papiers administratifs étant insuffisants à cet égard. En outre, le recourant ne prétend pas que, à cet endroit, il y aurait une personne avec qui il entretiendrait une relation telle qu'il pourrait retourner chez elle une fois libéré. Enfin, en tant que le recourant se prévaut de l'<ref-law> pour soutenir que, tant qu'il ne s'est pas constitué de nouveau domicile, il conserve l'ancien, il méconnaît que cette norme ne s'applique pas en droit des poursuites pour déterminer le for ordinaire de poursuite, au sens de l'<ref-law>. Lorsqu'il affirme qu'il n'a pas l'intention de séjourner à Gorgier, il avance un motif qui n'est pas pertinent pour déterminer le lieu de séjour au sens de l'<ref-law>. Enfin, il se trompe sur la portée du for consacré à l'<ref-law>, qui s'applique à la poursuite en réalisation de gage.
Il suit de là que les griefs du recourant doivent être rejetés.
6.
En définitive, le recours constitutionnel subsidiaire est irrecevable. Manifestement infondé (<ref-law>), le recours en matière civile est rejeté. Bien qu'il soutienne le contraire, le recourant a requis l'assistance judiciaire partielle au sens de l'<ref-law>, celle-ci pouvant précisément, comme il le demande, être limitée à ce que la partie qui la requiert soit libérée du paiement des frais judiciaires. Cette requête doit être rejetée, le recours étant d'emblée dénué de chances de succès. Les frais judiciaires, arrêtés à 500 fr., sont donc mis à la charge du recourant qui succombe (<ref-law>). Aucuns dépens ne sont dus (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière civile est rejeté.
3.
La requête d'assistance judiciaire du recourant est rejetée.
4.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au recourant, à l'Office des poursuites du canton de Neuchâtel et au Tribunal cantonal, Cour civile, Autorité supérieure de surveillance en matière de poursuites et faillites.
Lausanne, le 8 décembre 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari