Faits :
A.
A.a. Le 30 juillet 2019, l'Office neuchâtelois de recouvrement et d'avances des contributions d'entretien (ci-après: ORACE), agissant par mandat et cession de B.A._, a déposé une requête de mesures superprovisionnelles devant le Tribunal régional du Littoral et du Val-de-Travers en concluant notamment à ce qu'il soit ordonné à C._, Fondation de libre passage 2e pilier, de bloquer le capital LPP de A.A._ accumulé à ce jour et qu'un délai lui soit octroyé pour agir au fond.
A.b. Par décision de mesures superprovisionnelles du 30 juillet 2019, le juge du Tribunal civil a fait droit à la requête et cité les parties à comparaître à une audience.
A.c. Par décision de mesures provisionnelles du 15 août 2019, le juge du Tribunal civil a confirmé le blocage de l'avoir LPP de A.A._ auprès de C._, fixé un délai de 60 jours au requérant pour agir au fond, sous peine de caducité des mesures prononcées, et arrêté les frais de procédure à 300 fr., mettant ceux-ci à la charge du requérant, le droit de celui-ci d'en obtenir la répétition dans la procédure au fond étant réservé.
B.
B.a. Le 27 août 2019, A.A._ a interjeté appel contre cette décision, en concluant à la constatation de sa nullité, subsidiairement à son annulation, et à ce que la libération immédiate de son capital LPP soit ordonnée. Il a en outre sollicité l'octroi de l'assistance judiciaire.
B.b. Par ordonnance du 3 septembre 2019, la Cour d'appel civile du Tribunal cantonal neuchâtelois (ci-après: Cour d'appel) a accordé à A.A._ l'assistance judiciaire pour la procédure d'appel et désigné Me Melvin L'Eplattenier en qualité d'avocat d'office.
B.c. Par lettre du 22 octobre 2019 adressée au mandataire de l'appelant et dont aussi bien l'ORACE que la Cour d'appel ont reçu copie, le juge du Tribunal civil a confirmé que l'ORACE n'avait pas ouvert action au fond dans le délai de 60 jours mentionné au ch. 2 du dispositif de la décision de mesures provisionnelles rendue le 15 août 2019. Il a en revanche refusé de constater la caducité des mesures provisionnelles avec notification à la Fondation de libre passage de C._ en vue du déblocage de l'avoir LPP.
B.d. Le 25 octobre 2019, le juge instructeur de la Cour d'appel a imparti aux parties un délai de 10 jours pour se déterminer sur la question de savoir si l'appel avait, dans ces circonstances, toujours un objet.
B.e. Dans son écrit du 28 octobre 2019, l'appelant a confirmé que, de son point de vue, les mesures provisionnelles étaient devenues caduques, ce que la Cour d'appel devait constater et notifier à la Fondation de libre passage de C._. S'agissant des frais et dépens, l'appelant a soutenu que l'intimé devait les assumer en intégralité, dès lors que l'appel aurait été admis et que l'intimé était exclusivement responsable de la perte d'objet du procès. Il a déposé un mémoire d'honoraires calculés principalement au tarif de l'avocat de choix [7h25 à 300 fr./h, soit 2'635 fr. 95, frais et TVA compris], subsidiairement à celui de l'avocat d'office [7h25 à 180 fr./h, soit 1'509 fr. 70, frais et TVA compris].
B.f. Par lettre du 30 octobre 2019, l'ORACE, confirmant n'avoir pas déposé d'action au fond dans le délai de 60 jours fixé par la décision dont était appel, a indiqué que les mesures provisionnelles ordonnées en première instance étaient devenues caduques, ce qui rendait l'appel sans objet. Dans une écriture ultérieure, datée du 11 novembre 2019, il a indiqué considérer qu'il ne se justifiait pas d'accorder les dépens au tarif de l'avocat de choix et que les frais judiciaires ne pouvaient pas être mis totalement à sa charge.
B.g. Par arrêt du 26 novembre 2019, la Cour d'appel a constaté que l'appel était devenu sans objet (ch. 1 du dispositif), a rayé l'affaire du rôle (ch. 2), a arrêté les frais de la procédure d'appel à 800 fr. et les a mis par moitié à charge de chaque partie, sous réserve des règles en matière d'assistance judiciaire s'agissant de l'appelant (ch. 3), a dit qu'il n'était pas alloué de dépens à l'intimé (ch. 4), a dit que celui-ci devait à l'appelant une indemnité de dépens réduite de 750 fr., qui venait en déduction dans le remboursement des honoraires avancés à Me Melvin L'Eplattenier selon ch. 6 (ch. 5), et a arrêté la rémunération de Me Melvin L'Eplattenier, mandataire d'office de l'appelant, à 1'500 fr., frais et TVA inclus, pour la procédure d'appel, montant qui serait entièrement versé audit mandataire par le Service de la justice, l'appelant ne pouvant être recherché que pour 750 fr. s'agissant du remboursement ultérieur des montants avancés par l'Etat à titre d'honoraires d'avocat (ch. 6).
C.
Par acte posté le 23 décembre 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 26 novembre 2019. Il conclut principalement à la réforme des chiffres 3, 5 et 6 de son dispositif en ce sens que les frais de la procédure d'appel, par 800 fr., sont intégralement mis à la charge de l'Etat, soit pour lui l'ORACE, qu'il a droit à une pleine indemnité de dépens de 2'635 fr. 95, frais et TVA compris, à charge de l'Etat, soit pour lui l'ORACE, et que l'indemnité de dépens allouée rend sans objet sa requête d'assistance judiciaire. Subsidiairement, il sollicite la réforme des chiffres 5 et 6 du dispositif de l'arrêt attaqué en ce sens qu'il a droit à une indemnité de dépens de 1'318 fr., frais et TVA compris, à charge de l'Etat, soit pour lui l'ORACE, cette somme ne venant pas en déduction de celle allouée à titre d'honoraires d'avocat d'office, et que la rémunération du mandataire d'office est arrêtée à 750 fr., frais et TVA compris, cette somme, entièrement remboursable aux conditions de l'art. 123 al. 1 CPC, étant complémentaire à celle attribuée à titre de dépens. Pour le surplus, il requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimé conclut au rejet du recours. L'autorité cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.
La recevabilité du recours portant sur une question accessoire, en l'espèce la répartition et la fixation des frais judiciaires et des dépens, est définie par la cause au fond, dans la mesure où aucune procédure spéciale n'est prévue (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1 et les références). L'arrêt entrepris a été prononcé dans une cause portant sur le blocage par voie de mesures provisionnelles (art. 261 ss CPC) d'un capital LPP avant introduction d'une requête de sûretés au sens de l'art. 292 CC, partant sujette au recours en matière civile (art. 72 al. 1 LTF).
Dans la mesure où l'affaire a été rayée du rôle par suite de perte de l'objet du litige (art. 242 CPC), il s'agit d'une décision finale (art. 90 LTF; cf. arrêt 5A_78/2018 du 14 mai 2018 consid. 1.1 et les références; cf. ég. arrêts 5A_561/2019 du 5 février 2020 consid. 1.2.1 et les références; 4A_223/2019 du 16 octobre 2019 consid. 1 et les références), rendue par une autorité supérieure statuant sur recours en dernière instance cantonale (art. 75 al. 1 LTF). Le recourant, qui a participé à la procédure devant l'autorité précédente, a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise, dans la mesure où la répartition des frais judiciaires et le montant des dépens ont une influence sur le montant qu'il pourrait devoir rembourser ultérieurement à l'Etat (art. 76 al. 1 let. a et b LTF; arrêt 4D_24/2014 du 14 octobre 2014 consid. 4.3; cf. ég. TAPPY, in Commentaire romand, CPC, 2ème éd. 2019, n° 22 i.f. ad art. 122 CPC). La question de la valeur litigieuse (cf. art. 74 al. 1 let. b LTF) peut demeurer indécise, dès lors que la voie ordinaire du recours en matière civile et celle du recours constitutionnel subsidiaire connaissent une limitation identique des griefs admissibles, s'agissant en l'espèce de mesures provisionnelles (cf. arrêt 5A_325/2016 du 13 décembre 2016 consid. 1.2).
Pour le surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes légales (art. 42 al. 1 LTF).
2.
2.1. Dès lors que le recours porte sur la répartition des frais judiciaires et des dépens dans le cadre d'une procédure de mesures provisionnelles, la partie recourante ne peut dénoncer que la violation de droits constitutionnels (art. 98 LTF; arrêts 5A_78/2018 précité consid. 1.2 et la référence; 5A_761/2014 du 26 février 2015 consid. 1.4). Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1; <ref-ruling> consid. 4.3; <ref-ruling> consid. 4.1 et les références). Partant, le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente. Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Les faits sur la base desquels le Tribunal fédéral statue visent aussi les constatations relatives au déroulement du procès devant les instances précédentes, soit les faits de la procédure (" Prozesssachverhalt "), auxquels appartiennent notamment les conclusions des parties, leurs allégations de fait et les arguments juridiques soulevés (<ref-ruling> consid. 1.3.1; arrêt 5D_43/2019 du 24 mai 2019 consid. 3.2.2.2).
Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1 et la référence).
En l'espèce, le recourant se plaint de ce que la cour cantonale aurait arbitrairement omis de constater un pan de la motivation de son grief de violation des art. 30 al. 1 Cst. et 2 de la loi neuchâteloise concernant l'introduction du code civil suisse [LI-CC/NE; RSN 211.1]), pourtant pertinent pour traiter de la répartition des frais et dépens après la perte d'objet du procès. Il apparaît toutefois que la cour cantonale n'a pas ignoré le moyen de droit soulevé par le recourant dans son appel en lien avec l'incompétence matérielle du tribunal civil pour rendre la décision dont était appel. Qu'elle n'en ait que résumé la teneur ne rend pas la constatation arbitraire pour autant. La critique manque sa cible.
3.
Le recourant se plaint d'une violation arbitraire (art. 9 Cst.) de l'art. 107 al. 1 let. e CPC en tant que la Cour d'appel a considéré que la question du sort prévisible du procès ainsi que celle de la responsabilité pour la perte d'objet du procès devaient recevoir une réponse nuancée et que, à ce titre, il y avait lieu de " partager par moitié les frais et les dépens ". Selon le recourant, la cour cantonale avait, ce faisant, également violé l'art. 122 al. 2 CPC en niant qu'il avait obtenu gain de cause et en le privant de son droit d'obtenir de pleins dépens, non remboursables.
3.1.
3.1.1. Aux termes de l'art. 106 CPC, les frais - qui comprennent les frais judiciaires et les dépens (art. 95 al. 1 CPC) - sont mis à la charge de la partie succombante (al. 1) ou sont répartis selon le sort de la cause, lorsqu'aucune des parties n'obtient entièrement gain de cause (al. 2). Le juge peut toutefois s'écarter de ces règles et répartir les frais selon sa libre appréciation, en statuant selon les règles du droit et de l'équité (art. 4 CC; <ref-ruling> consid. 4.2; arrêt 5A_140/2019 du 5 juillet 2019 consid. 5.1.2), dans les hypothèses prévues par l'art. 107 CPC, notamment lorsque la procédure est devenue sans objet et que la loi n'en dispose pas autrement (art. 107 al. 1 let. e CPC; <ref-ruling> consid. 3.3.2).
Lors de la répartition des frais en cas de procédure devenue sans objet, il convient, dans l'exercice du pouvoir d'appréciation découlant de l'art. 107 al. 1 let. e CPC, de prendre en compte quelle partie a donné lieu à la procédure, l'issue prévisible de celle-ci et les motifs qui ont conduit à la rendre sans objet (arrêts 5A_78/2018 précité consid. 2.3.1; 5A_91/2017 du 26 juillet 2017 consid. 3.2; 4A_667/2015 du 22 janvier 2016 consid. 2.2; 4A_272/2014 du 9 décembre 2014 consid. 3.1; 4A_284/2014 du 4 août 2014 consid. 2.6). Il n'y a pas d'ordre de priorité entre ces divers critères. Ils ne doivent pas non plus nécessairement être examinés cumulativement; il faut au contraire déterminer, selon les circonstances du cas concret, quel (s) critère (s) est (sont) le mieux adapté (s) à la situation (cf. arrêts 4A_24/2019 du 26 février 2019 consid. 1.1; 5A_78/2018 précité consid. 3.2.1). L'issue prévisible du procès doit être déterminée sur la base d'une appréciation sommaire du dossier, sans que d'autres mesures probatoires soient nécessaires (arrêt 5A_327/2016 du 1er mai 2017 consid. 3.4.3, non publié in <ref-ruling>, et la référence). Il est en effet exclu que le juge apprécie les preuves et analyse des questions juridiques à la seule fin de répartir les frais judiciaires après que la contestation a perdu de son objet (arrêt 4A_346/2015 du 16 décembre 2015 consid. 5).
3.1.2. Si la partie assistée d'un défenseur d'office obtient gain de cause, les dépens mis à la charge de la partie succombante, incontestablement solvable, fondent seulement une créance de droit civil. La situation est alors la même que si l'avocat n'était pas défenseur d'office, mais simplement le mandataire de sa cliente. En effet, selon la jurisprudence, le défenseur d'office dispose d'une prétention propre et personnelle en lien non seulement avec l'indemnisation subsidiaire par l'Etat, mais aussi avec la créance prioritaire de dépens (arrêts 4A_112/2018 du 20 juin 2018 consid. 1.2.3; 4A_170/2018 du 20 juin 2018 consid. 1.3; 5A_754/2013 du 4 février 2014 consid. 5). Il est dès lors conforme au droit que d'astreindre la partie qui succombe à payer directement les dépens au défenseur d'office de la partie victorieuse (art. 106 al. 1 et 122 al. 2 CPC; arrêt 5A_754/2013 précité consid. 5). Dès lors que la capacité de l'Etat de s'acquitter des dépens mis à sa charge ne saurait sérieusement être mise en doute, le sort des frais judiciaires et des dépens obéit aux règles ordinaires des art. 106 ss CPC et le défraiement du conseil de la partie assistée victorieuse doit être fixé d'après le tarif applicable aux affaires plaidées par un avocat de choix; il est dès lors arbitraire de fixer la rétribution de ce conseil sur la base du tarif horaire (inférieur) applicable au défenseur d'office (arrêts 5A_85/2017 du 19 juin 2017 consid. 8; 5D_54/2014 du 1er juillet 2014 consid. 2.1; cf. ég. <ref-ruling>7 consid. 2.3).
3.2. La critique du recourant apparaît justifiée, dès lors qu'il est manifeste que l'issue prévisible du litige pouvait - et a concrètement pu - d'emblée être déterminée et n'avait par conséquent pas à être " nuancée ". En effet, il résulte de l'arrêt querellé que le grief portant sur l'incompétence matérielle du Tribunal civil pour rendre la décision objet de l'appel était bien fondé et était en soi suffisant pour sceller le sort de l'affaire, la présidente ou le président de l'Autorité de protection de l'enfant et de l'adulte, statuant à juge unique, étant compétent en matière d'obligation d'entretien et de dette alimentaire selon le droit cantonal neuchâtelois (art. 2 al. 1bis LI-CC/NE). Dès lors que, comme la cour cantonale le retient expressément, il était " patent que le tribunal civil n'était pas compétent à raison de la matière ", l'appel aurait incontestablement dû être admis, sans plus ample examen dans la mesure où l'incompétence qualifiée de l'autorité qui a rendu la décision est un motif de nullité (cf. <ref-ruling> consid. 2.2.3 et les références; arrêt 5A_360/2018 du 4 décembre 2018 consid. 3.4.3.3, publié in SJ 2019 I p. 315). Dans ces circonstances, l'équité commandait à l'évidence de mettre les frais et dépens de la procédure d'appel à la charge de l'intimé. En répartissant par moitié lesdits frais, la cour cantonale a manifestement abusé de son pouvoir d'appréciation. Cela est, au demeurant, d'autant plus vrai qu'il est indiscutable que l'intimé est entièrement responsable du fait que la procédure est devenue sans objet faute de validation de la mesure dans le délai imparti à cet effet et qu'il doit en conséquence être considéré comme ayant succombé (cf. <ref-ruling> consid. 4a).
Au vu de ce qui précède, l'arrêt entrepris doit être réformé en ce sens que l'entier des frais judiciaires et des dépens de la procédure d'appel est imputé à l'ORACE, qui relève de l'Etat de Neuchâtel. Il s'ensuit, compte tenu des principes susrappelés, que le recourant a droit à une pleine indemnité de dépens, non remboursable, calculée au tarif de l'avocat de choix (cf. supra consid. 3.1.2). Dès lors qu'il est constant que l'activité du conseil du recourant, telle que résultant de son mémoire d'honoraires, est entièrement indemnisable et que le montant requis au tarif de l'avocat de choix est conforme au droit cantonal (art. 96 CPC et 58 ss LTFrais/NE [RSN 164.1]), l'arrêt peut également être réformé sur ce point dans le sens des conclusions du recourant.
4.
En définitive, le recours est admis. Les chiffres 3, 5 et 6 du dispositif de l'arrêt attaqué sont annulés et réformés dans le sens des conclusions du présent recours. Il n'est pas perçu de frais judiciaires. Le recourant peut prétendre à une indemnité de dépens, qu'il convient de mettre exclusivement à la charge de l'Etat de Neuchâtel. La demande d'assistance judiciaire est dès lors sans objet (art. 64 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Les chiffres 3, 5 et 6 du dispositif de l'arrêt entrepris sont annulés et réformés en ce que les frais de la procédure d'appel, par 800 fr., sont intégralement mis à la charge de l'Etat de Neuchâtel, soit pour lui l'Office de recouvrement et d'avances des contributions d'entretien (ORACE), que le recourant a droit à une pleine indemnité de dépens de 2'635 fr. 95, frais et TVA compris, à charge de l'Etat de Neuchâtel, soit pour lui l'ORACE, et que l'indemnité de dépens allouée rend sans objet la requête d'assistance judiciaire du recourant.
2.
Il n'est pas perçu de frais judiciaires.
3.
L'Etat de Neuchâtel versera au recourant une indemnité de 1'500 fr. à titre de dépens pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 3 mars 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg