Faits : A. A.a. Le 30 juillet 2019, l'Office neuchâtelois de recouvrement et d'avances des contributions d'entretien (ci-après: ORACE), agissant par mandat et cession de B.A._, a déposé une requête de mesures superprovisionnelles devant le Tribunal régional du Littoral et du Val-de-Travers en concluant notamment à ce qu'il soit ordonné à C._, Fondation de libre passage 2e pilier, de bloquer le capital LPP de A.A._ accumulé à ce jour et qu'un délai lui soit octroyé pour agir au fond. A.b. Par décision de mesures superprovisionnelles du 30 juillet 2019, le juge du Tribunal civil a fait droit à la requête et cité les parties à comparaître à une audience. A.c. Par décision de mesures provisionnelles du 15 août 2019, le juge du Tribunal civil a confirmé le blocage de l'avoir LPP de A.A._ auprès de C._, fixé un délai de 60 jours au requérant pour agir au fond, sous peine de caducité des mesures prononcées, et arrêté les frais de procédure à 300 fr., mettant ceux-ci à la charge du requérant, le droit de celui-ci d'en obtenir la répétition dans la procédure au fond étant réservé. B. B.a. Le 27 août 2019, A.A._ a interjeté appel contre cette décision, en concluant à la constatation de sa nullité, subsidiairement à son annulation, et à ce que la libération immédiate de son capital LPP soit ordonnée. Il a en outre sollicité l'octroi de l'assistance judiciaire. B.b. Par ordonnance du 3 septembre 2019, la Cour d'appel civile du Tribunal cantonal neuchâtelois (ci-après: Cour d'appel) a accordé à A.A._ l'assistance judiciaire pour la procédure d'appel et désigné Me Melvin L'Eplattenier en qualité d'avocat d'office. B.c. Par lettre du 22 octobre 2019 adressée au mandataire de l'appelant et dont aussi bien l'ORACE que la Cour d'appel ont reçu copie, le juge du Tribunal civil a confirmé que l'ORACE n'avait pas ouvert action au fond dans le délai de 60 jours mentionné au ch. 2 du dispositif de la décision de mesures provisionnelles rendue le 15 août 2019. Il a en revanche refusé de constater la caducité des mesures provisionnelles avec notification à la Fondation de libre passage de C._ en vue du déblocage de l'avoir LPP. B.d. Le 25 octobre 2019, le juge instructeur de la Cour d'appel a imparti aux parties un délai de 10 jours pour se déterminer sur la question de savoir si l'appel avait, dans ces circonstances, toujours un objet. B.e. Dans son écrit du 28 octobre 2019, l'appelant a confirmé que, de son point de vue, les mesures provisionnelles étaient devenues caduques, ce que la Cour d'appel devait constater et notifier à la Fondation de libre passage de C._. S'agissant des frais et dépens, l'appelant a soutenu que l'intimé devait les assumer en intégralité, dès lors que l'appel aurait été admis et que l'intimé était exclusivement responsable de la perte d'objet du procès. Il a déposé un mémoire d'honoraires calculés principalement au tarif de l'avocat de choix [7h25 à 300 fr./h, soit 2'635 fr. 95, frais et TVA compris], subsidiairement à celui de l'avocat d'office [7h25 à 180 fr./h, soit 1'509 fr. 70, frais et TVA compris]. B.f. Par lettre du 30 octobre 2019, l'ORACE, confirmant n'avoir pas déposé d'action au fond dans le délai de 60 jours fixé par la décision dont était appel, a indiqué que les mesures provisionnelles ordonnées en première instance étaient devenues caduques, ce qui rendait l'appel sans objet. Dans une écriture ultérieure, datée du 11 novembre 2019, il a indiqué considérer qu'il ne se justifiait pas d'accorder les dépens au tarif de l'avocat de choix et que les frais judiciaires ne pouvaient pas être mis totalement à sa charge. B.g. Par arrêt du 26 novembre 2019, la Cour d'appel a constaté que l'appel était devenu sans objet (ch. 1 du dispositif), a rayé l'affaire du rôle (ch. 2), a arrêté les frais de la procédure d'appel à 800 fr. et les a mis par moitié à charge de chaque partie, sous réserve des règles en matière d'assistance judiciaire s'agissant de l'appelant (ch. 3), a dit qu'il n'était pas alloué de dépens à l'intimé (ch. 4), a dit que celui-ci devait à l'appelant une indemnité de dépens réduite de 750 fr., qui venait en déduction dans le remboursement des honoraires avancés à Me Melvin L'Eplattenier selon ch. 6 (ch. 5), et a arrêté la rémunération de Me Melvin L'Eplattenier, mandataire d'office de l'appelant, à 1'500 fr., frais et TVA inclus, pour la procédure d'appel, montant qui serait entièrement versé audit mandataire par le Service de la justice, l'appelant ne pouvant être recherché que pour 750 fr. s'agissant du remboursement ultérieur des montants avancés par l'Etat à titre d'honoraires d'avocat (ch. 6). C. Par acte posté le 23 décembre 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 26 novembre 2019. Il conclut principalement à la réforme des chiffres 3, 5 et 6 de son dispositif en ce sens que les frais de la procédure d'appel, par 800 fr., sont intégralement mis à la charge de l'Etat, soit pour lui l'ORACE, qu'il a droit à une pleine indemnité de dépens de 2'635 fr. 95, frais et TVA compris, à charge de l'Etat, soit pour lui l'ORACE, et que l'indemnité de dépens allouée rend sans objet sa requête d'assistance judiciaire. Subsidiairement, il sollicite la réforme des chiffres 5 et 6 du dispositif de l'arrêt attaqué en ce sens qu'il a droit à une indemnité de dépens de 1'318 fr., frais et TVA compris, à charge de l'Etat, soit pour lui l'ORACE, cette somme ne venant pas en déduction de celle allouée à titre d'honoraires d'avocat d'office, et que la rémunération du mandataire d'office est arrêtée à 750 fr., frais et TVA compris, cette somme, entièrement remboursable aux conditions de l'art. 123 al. 1 CPC, étant complémentaire à celle attribuée à titre de dépens. Pour le surplus, il requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale. L'intimé conclut au rejet du recours. L'autorité cantonale se réfère aux considérants de son arrêt.