Faits :
A.
A.a. A._ (1971) et B._ (1974) se sont mariés en France le 15 mai 2004.
L'époux a travaillé en Suisse de 2004 à 2010. En 2010, il a effectué un retrait de sa prévoyance professionnelle pour financer des travaux de construction d'une maison familiale sise à U._ (France).
A.b.
A.b.a. Le 14 mars 2014, l'épouse a introduit une action en divorce devant le Tribunal de Grande Instance de U._.
A.b.b. Par ordonnance du 18 avril 2014, le juge aux affaires familiales a " attribué la jouissance de l'immeuble commun en construction à l'époux, à titre onéreux " et " dit que le prêt immobilier et les charges concernant l'immeuble commun ser[aient] pris en charge par l'époux, à titre provisoire ".
A.b.c. Par jugement du 25 mai 2016, dite autorité a prononcé le divorce des parties et, entre autres, refusé d'attribuer l'immeuble à l'épouse.
B.
B.a. Saisi le 5 juillet 2017 par B._ d'une demande en complément du jugement de divorce, le Tribunal civil des Montagnes et du Val-de-Ruz (ci-après: tribunal) a, par jugement du 21 février 2020, entre autres, ordonné à C._ à V._, de prélever la somme de 27'290 fr. 70 sur la prestation de sortie de A._, augmentée des intérêts cumulés sur cette somme dès le 5 juillet 2017, et de la verser sur le compte ouvert au nom de B._ auprès de D._.
Durant cette procédure, A._ s'est prévalu, dans son écriture du 24 novembre 2017, d'une estimation du 29 juin 2016 effectuée par la société E._ pour alléguer que la valeur de la maison familiale oscillait entre 200'000 et 210'000 euros au 29 juin 2016. Lors de l'audience du 2 février 2018, il a déclaré avoir affecté l'argent de sa LPP, de 66'635 fr. (dont 56'274 fr. accumulés durant le mariage), essentiellement au financement des fenêtres de la villa, et que le fait que la qualité des matériaux n'était pas prise en considération dans l'estimation de la valeur d'un bien en France expliquait que la maison ait actuellement une valeur de 210'000 euros.
Le tribunal a par ailleurs admis la réquisition de B._ de mettre en oeuvre une expertise immobilière, " en ce sens que devra être produite dans la présente procédure l'expertise qui sera réalisée en France dans le cadre de la liquidation du régime matrimonial ". Partant, le courrier du 20 octobre 2018 d'un notaire français, Me F._, a été versé au dossier. Il en ressort que, compte tenu de son état, " notamment des travaux à réaliser et [de] ceux restant à réalisés (sic) ainsi que du fichier des notaires (PERVAL) ", de sa situation, et du marché immobilier actuel, dit notaire pensait pouvoir retenir pour ce bien une valeur entre 225'000 et 230'000 euros dans le cadre de l' "avis de valeur ".
B.b. Par arrêt du 3 août 2020, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a admis l'appel déposé par B._. Elle a réformé le chiffre 2 du jugement attaqué, en ce sens qu'elle a ordonné à la C._ à V._, de prélever sur la prestation de sortie de A._ la somme de 60'608 fr. 15, augmentée des intérêts cumulés sur cette somme dès le 5 juillet 2017 et de la verser en faveur de B._ sur son compte ouvert auprès de D._.
C.
Par acte posté le 9 septembre 2020, A._ interjette un recours en matière civile contre cet arrêt. Il conclut, principalement, à ce qu'il soit dit et constaté que " le montant engagé par A._ pour l'acquisition du bien immobilier sis à U._ ne doit pas être pris en considération lors de la détermination de la prestation de sortie à partager " et, subsidiairement, au renvoi de la cause à l'autorité inférieure pour instruction et nouvelle décision au sens des considérants. En substance, il se plaint d'arbitraire (art. 9 Cst.) dans l'établissement des faits relatifs à la perte qu'aurait générée la vente de maison familiale sise à U._ et de la violation de l'<ref-law> (droit à la preuve).
Des observations n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (<ref-law>), contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire civile (<ref-law>). La valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>). Le recourant a pris part à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision attaquée (art. 76 al. 1 let. a et b LTF).
1.2. Le recourant prend principalement des conclusions en constatation de droit. Or, selon un principe général de procédure, de telles conclusions ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Seules des circonstances exceptionnelles conduisent à admettre l'existence d'un intérêt digne de protection à la constatation de droit lorsqu'une action en exécution est ouverte. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (arrêt 5A_821/2019 du 14 juillet 2020 consid. 3.2 et les références). Dans cette mesure, la recevabilité de la conclusion principale du recours apparaît douteuse. Il reste néanmoins à examiner si le recourant formule, implicitement, des conclusions réformatoires telles qu'exigées par l'<ref-law>. En effet, l'application du principe de la confiance impose d'interpréter les conclusions à la lumière de la motivation (arrêt 5A_866/2015 du 2 mai 2016 consid. 1.2 et les références, non publié aux <ref-ruling>). En l'occurrence, le recourant était intimé à l'appel et l'autorité cantonale a constaté qu'il n'y avait pas de critique quant à la somme de 28'137 fr. due à l'épouse. En conséquence, on comprend que le recourant ne critique que le versement supplémentaire de 32'471 fr. 15 et cherche à obtenir la réforme de l'arrêt attaqué, en ce sens que le montant à verser à titre de partage la prévoyance professionnelle soit limité à 28'135 fr. en faveur de l'épouse. Dans cette mesure, la recevabilité du recours peut donc être admise.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); le recourant ne peut critiquer les constatations de fait que si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence) - des faits doit se conformer au principe d'allégation, ce qui implique d'invoquer expressément et de motiver de façon claire et détaillée un tel grief (<ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4); les critiques appellatoires sont en conséquence irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1). L'appréciation des preuves ne se révèle arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'une preuve propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a effectué des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
Au vu de ces principes, la partie " A. En fait " figurant aux pages 3 à 7 du recours sera ignorée en tant que les faits qui y sont exposés ne sont pas expressément visés par un grief d'arbitraire, s'écartent de ceux contenus dans l'arrêt attaqué et que le recourant n'invoque, ni a fortiori ne démontre, leur établissement arbitraire ou que leur correction influerait sur le sort de la cause.
3.
L'autorité cantonale a jugé en substance qu'il n'était pas établi que la vente de la maison au moment du divorce aurait généré une perte. Dès lors, le montant engagé par le recourant pour acquérir le bien immobilier, par 66'635 fr., devait être pris en considération pour déterminer la prestation de sortie à partager. Pour arriver à ce résultat, elle s'est fondée sur les constatations suivantes:
Premièrement, il fallait tenir compte du fait que la maison était, au jour du divorce, encore en chantier. Le recourant faisait référence à des travaux effectués après le 18 avril 2014 et l'intimée avait allégué, sans que le recourant le conteste, que celui-ci avait mis en suspens l'exécution de travaux dans le but de faire diminuer la valeur de l'immeuble. Le notaire qui avait rendu une expertise immobilière dans la précédente procédure matrimoniale avait également retenu qu'il restait des travaux à effectuer le 20 octobre 2018. Le dossier ne contenait en outre aucune pièce sur la manière dont les fonds du prêt hypothécaire avaient été affectés au fur et à mesure dans la construction, ni sur la valeur du terrain au moment du divorce. Selon la cour cantonale, il n'était donc pas exclu que les fonds provenant du prêt hypothécaire n'aient été engagés que pour une partie dans les travaux de construction ou aient servi à acheter des fournitures n'ayant pas été prises en compte dans les évaluations. Cela valait même si la dette hypothécaire était à cette époque supérieure à 294'000 euros et que la vente aurait pu être faite pour 230'000 euros.
Secondement, les évaluations faites par la société E._ en 2016 et le notaire en 2018 n'étaient pas fiables pour plusieurs raisons. Ces documents étaient peu détaillés. Celui établi par E._, outre qu'il n'était pas signé et que, dans tous les cas, ne valait que simple allégué de l'époux contesté par l'épouse, ne renseignait notamment pas sur les coûts de construction de la maison ou le prix du m2 habitable dans le quartier résidentiel concerné. Il ne mentionnait pas non plus que les travaux n'étaient pas terminés. Quant à l'évaluation du notaire, on ignorait tout des éléments ayant conduit à son résultat. Par ailleurs, le recourant avait déclaré que la qualité des matériaux n'était pas prise en compte dans l'estimation des biens immobiliers en France, et qu'il avait payé 58'693 fr. pour les fenêtres de la maison. Il était donc invraisemblable que la valeur totale de la maison et du terrain ne dépasse pas 230'000 euros, alors que l'intimée avait allégué qu'environ 400'000 euros avaient été investis dans les travaux de construction, ce que le recourant n'avait pas contesté. Il avait même affirmé que la somme des fonds propres et de ceux provenant du crédit hypothécaire était proche, voire supérieure à 400'000 euros. Ainsi, il n'était pas crédible qu'une parcelle de 930 m2, sise dans un quartier résidentiel de U._ et sur laquelle avait été construite en 2010 une maison pour un prix d'environ 400'000 euros, ait perdu plus de la moitié de sa valeur en quatre ans, étant précisé que la valeur du terrain n'était pas comprise dans ce montant.
4.
Le recourant se plaint d'arbitraire (art. 9 Cst.) dans l'établissement des faits.
4.1. Concernant la première série de faits retenus par l'autorité cantonale, le recourant oppose, entre autres, que la maison familiale ne pouvait pas être en chantier en avril 2014 puisqu'il y vivait à ce moment-là. Sur le montant total de 303'485 euros dont il disposait en 2010, il avait acheté la parcelle à 71'533 euros, investi 53'485,87 euros dans les fenêtres et les stores de la maison. Il avait investi le solde de 178'466,13 euros dans la maison puisqu'il y vivait et qu'il avait dû produire auprès de la F._ les factures acquittées pour recevoir les fonds, ce qui ressortait de la page 4 du contrat de prêt hypothécaire produit en pièce 20 de son courrier du 19 février 2018.
Concernant la seconde série de faits, soit l'appréciation des documents produits à titre d'expertises, le recourant soutient, entre autres, qu'il est erroné de prétendre que l'évaluation de la maison par E._ ne renseigne pas sur la manière d'estimer le prix du m2, alors qu'il y est mentionné une estimation au moyen de la " méthode comparative ", et qu'elle ne prendrait pas en compte la qualité des matériaux, alors qu'il y est mentionné, au chiffre 3 du bilan, la " bonne construction, bon matériau ". Il estime aussi que l'autorité cantonale fait preuve de formalisme excessif en retenant que ce document aurait une force probante amoindrie en raison du défaut de signature. S'agissant de l'expertise du notaire, le recourant soutient que si celle-ci est suffisante au regard du droit français pour liquider le régime matrimonial, rien ne justifie que l'autorité cantonale remette en cause sa validité parce qu'elle ne répond pas aux critères du droit suisse en matière d'expertise. Cette autorité ne pouvait en outre pas substituer sa propre analyse à celle du notaire alors qu'elle ne disposait pas des connaissances spécifiques au marché immobilier à U._.
4.2. En l'espèce, le recourant ne démontre pas l'arbitraire en fait de la décision attaquée: le caractère habitable de la maison n'était pas décisif pour déterminer si la vente entraînerait une perte, mais bien la question de savoir si cette maison était ou non encore en travaux; or, le recourant admet lui-même que tel était le cas. De la pièce 20 sur laquelle il se fonde, il ne ressort pas si et comment les fonds du crédit hypothécaire ont été utilisés. Dans tous les cas, il ne résulte pas du courrier avec lequel cette pièce a été produite que le recourant aurait allégué, en offrant ce document à titre de preuve, le fait que les fonds n'étaient acquittés que sur production des factures. Ensuite, pour ce qui est de la valeur probante de l'évaluation privée de l'immeuble, le recourant ne s'en prend de toute façon pas à l'opinion de la cour cantonale selon laquelle celle-ci ne vaut pas expertise mais simple allégué de partie, contestée par la partie adverse (cf. <ref-ruling> consid. 2.6). Au demeurant, le recourant a déclaré lui-même en audience que la qualité des matériaux n'était pas prise en compte dans l'estimation (arrêt attaqué p. 5 in fine). Quoi qu'il en soit, il n'est pas arbitraire de soutenir que cette qualité n'a pas été prise en compte lorsque figurent simplement, au " bilan " de l'analyse, les termes " bons matériaux " dans les points positifs, sans autre précision. Par ailleurs, il n'est pas non plus arbitraire d'affirmer que l'évaluation ne renseigne pas sur le prix du terrain. En effet, la " méthode comparative " dont se prévaut le recourant, ne fait aucune distinction entre terrain et bâtiment; elle ne dit en outre rien sur les données qui lui ont permis de fixer le prix. Concernant l'expertise du notaire, l'argument selon lequel si une expertise est retenue à titre de preuve par une juridiction étrangère, elle doit forcément l'être par tout autre juge saisi, est appellatoire. En dernier lieu, il sied de relever que l'autorité cantonale n'a pas, contrairement à ce que soutient le recourant, substitué sa propre analyse à celle de l'expert; elle a apprécié les preuves pour retenir que la perte générée par la vente de la maison n'était pas démontrée.
Le recourant ne démontre pas l'arbitraire de la décision attaquée sur ces points essentiels. Partant, son grief d'arbitraire (art. 9 Cst.) dans l'établissement des faits doit être rejeté, dans la mesure de sa recevabilité, sans qu'il soit nécessaire d'examiner les autres éléments de son argumentation.
5.
Le recourant se plaint ensuite de la violation du droit à la preuve (<ref-law>, en lien avec l'<ref-law>).
5.1. Se fondant sur l'<ref-law> et l'arrêt 4A_535/2018 du 3 juin 2019, il soutient que, même à supposer que l'autorité cantonale ait à juste titre écarté son évaluation privée et l'expertise du notaire, cette autorité ne pouvait pas lui faire supporter l'échec de la preuve; elle aurait dû au contraire compléter l'instruction en requérant un complément d'expertise ou en ordonnant une seconde expertise. En ne le faisant pas, l'autorité cantonale l'a, selon lui, empêché de prouver les faits allégués devant le premier juge et que celui-ci a pourtant considéré comme prouvés. Il souligne qu'il ne peut lui être reproché de ne pas avoir sollicité ce complément ou cette seconde expertise, étant donné que les parties s'étaient mises d'accord avec le fait de se baser sur l'expertise du notaire et que le premier juge a refusé la demande de contre-expertise requise par l'intimée.
5.2. Indépendamment de la maxime applicable à la procédure pendante devant lui quant à l'établissement des faits, le juge apprécie librement la force probante d'une expertise. Dans le domaine des connaissances professionnelles particulières de l'expert, il ne peut toutefois s'écarter de son opinion que pour des motifs importants qu'il lui incombe d'indiquer, par exemple lorsque le rapport d'expertise présente des contradictions ou attribue un sens ou une portée inexacts aux documents et déclarations auxquels il se réfère. Le juge est même tenu de recueillir des preuves complémentaires lorsque les conclusions de l'expertise judiciaire se révèlent douteuses sur des points essentiels (<ref-ruling> consid. 6.1; <ref-ruling> consid. 4.3.1). En conséquence, lorsque le juge considère que l'expertise judiciaire qu'il a ordonnée ne répond pas aux exigences attendues, il ne peut pas d'emblée faire supporter l'échec de la preuve à la partie qui entend démontrer un fait sur la base de cette preuve. Il doit au contraire requérir un complément d'expertise ou ordonner une seconde expertise (arrêt 4A_535/2018 du 3 juin 2019 consid. 5.2.1).
5.3. En l'espèce, l'argument du recourant, relatif au devoir du juge qui considère une expertise comme inutilisable de requérir un complément de celle-ci ou une seconde expertise, n'est pas déterminant. En effet, indépendamment de cet argument, il demeure que, à la suite de l'offre de preuve requise par l'intimée, l'expertise judiciaire portait sur l'évaluation de la maison, et non sur la question de savoir si et comment le recourant avait affecté les fonds du prêt hypothécaire. Or, si l'autorité cantonale a fait supporter l'échec du fardeau de la preuve de la vente déficitaire de la maison, c'est précisément en raison du défaut de preuve sur l'utilisation du prêt hypothécaire. En effet, comme dit précédemment (cf. supra consid. 4.2), les juges cantonaux ont retenu, sans que le recourant démontre l'arbitraire de cette constatation, qu'il n'était pas exclu qu'une partie du prêt ait servi à acheter des fournitures n'ayant pas été prises en compte dans les évaluations. Cette constatation suffit à sceller le sort du litige.
Il suit de là que le grief doit être rejeté.
6.
En définitive, le recours est rejeté, dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Aucuns dépens ne sont dus, l'intimée n'ayant pas été invitée à répondre (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans le mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Neuchâtel, Cour d'appel civile.
Lausanne, le 31 mars 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari