Faits :
A.
A._ (1960) et B._ (1958) se sont mariés le 10 juin 1988. Ils ont eu deux filles, aujourd'hui majeures. Ils se sont séparés à la fin de l'année 2001.
Souhaitant ne pas avoir recours à une autorité judiciaire pour régler les modalités de leur séparation, ils ont établi et signé diverses conventions, non ratifiées par un tribunal, dans lesquelles ils prévoyaient que l'accord intervenu serait renouvelé chaque année par accord commun. Ils ont signé des conventions les 1er octobre 2002, 1er janvier 2005, 8 février 2005, 1er janvier 2007 et 27 février 2012. L'ex-époux s'est acquitté d'une contribution d'entretien mensuelle en faveur de son ex-épouse de 2'000 fr. dès le 1er janvier 2002, augmentée à 2'500 fr. dès février 2004 et à 3'500 fr. dès janvier 2005. Il a versé en sus une contribution d'entretien de 1'000 fr. par mois directement à chacune de ses filles, lorsqu'elles sont devenues majeures, à savoir dès 2006, respectivement dès 2008. Il a en outre pris en charge les cotisations d'assurance-maladie de son ex-épouse et de ses filles de 2001 à 2005. Dès 2006, les primes d'assurance-maladie des filles ont été prises en charge par son employeur. Dans une convention signée le 27 février 2012, les parties sont convenues que l'ex-époux verserait à l'ex-épouse une pension de 3'500 fr. par mois et paierait ses primes d'assurance-maladie (647 fr. 70 par mois). Actuellement, il verse une contribution d'entretien uniquement à sa fille cadette (2'000 fr. par mois).
B.
B._ a introduit une demande unilatérale en divorce le 9 décembre 2013. Par jugement du 22 février 2016, le Tribunal civil de l'arrondissement de Lausanne a prononcé le divorce, déclaré que le régime matrimonial est dissous et liquidé, ordonné à la caisse de prévoyance professionnelle de l'ex-époux de prélever la somme de 425'578 fr. 10 sur le compte de celui-ci et de la transférer sur le compte de libre-passage de l'ex-épouse.
Par arrêt du 14 juillet 2016, notifié aux parties le 3 novembre 2016, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel formé par l'ex-époux contre cette décision, celle-ci étant réformée en ce sens que la somme à transférer sur le compte de libre passage de l'ex-épouse est fixée à 399'869 fr. 10. L'appel joint interjeté par l'ex-épouse a été rejeté.
C.
Par mémoire du 7 décembre 2016, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt entrepris, en ce sens que le partage des avoirs de prévoyance professionnelle est refusé, et que son ex-épouse est condamnée à lui verser 330'900 fr. "en capital et intérêts depuis le 1er juillet 2010 (échéance moyenne) ". Subsidiairement il demande le renvoi de la cause à la juridiction précédente pour nouvelle décision.
Il n'a pas été demandé d'observations.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>), contre une décision finale (<ref-law>), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 76 al. 1 et 75 al. 1 LTF), dans une affaire civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b et 51 al. 1 let. a LTF). Le recours en matière civile est ainsi en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.4). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 3.3), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits constatés dans la décision attaquée (<ref-law>). Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire aux termes de l'art. 9 Cst. (<ref-ruling> consid. 2.3), ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Une partie ne peut toutefois pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; elle doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2). Une critique de fait qui ne satisfait pas au principe d'allégation susmentionné (cf. supra consid 2.1) est irrecevable (<ref-ruling> consid. 2.3 et les références; <ref-ruling> consid. 1.4.3).
3.
Le recourant fait grief à l'autorité précédente d'avoir violé l'<ref-law> en ordonnant le partage par moitié des avoirs de prévoyance professionnelle des parties.
3.1. L'arrêt entrepris ayant été rendu le 14 juillet 2016, soit avant l'entrée en vigueur, le 1er janvier 2017, de la novelle du 19 juin 2015 portant notamment modification des <ref-law> (RO 2016 2313; FF 2015 4437), la situation sera examinée à l'aune des anciennes dispositions légales (<ref-law>).
3.1.1. Les prestations de sortie de la prévoyance professionnelle des époux doivent en principe être partagées entre eux par moitié (<ref-law>). Le droit au partage, en tant que conséquence d'une communauté de destin, ne dépend pas de la façon dont les époux se sont répartis les tâches pendant le mariage. En d'autres termes, le droit de chaque époux à la moitié des expectatives de prévoyance constituées pendant le mariage est en principe inconditionnel, comme c'est également le cas pour le partage par moitié des acquêts. Le partage à parts égales des prestations de prévoyance se fonde sur le critère abstrait de la durée formelle du mariage, à savoir depuis le jour du mariage jusqu'à celui de l'entrée en force du jugement de divorce, et non sur le mode de vie concret adopté par les époux (<ref-ruling> consid. 4.2.2; arrêt 5A_796/2011 du 5 avril 2012 consid. 3.1 et les références, publié in FamPra.ch 2012 p. 755).
3.1.2. Selon l'<ref-law>, le juge peut refuser le partage, en tout ou en partie, lorsque celui-ci se révèle manifestement inéquitable pour des motifs tenant à la liquidation du régime matrimonial ou à la situation économique des époux après le divorce. Cette disposition doit être appliquée de manière restrictive afin d'éviter que le principe du partage par moitié des avoirs de prévoyance soit vidé de son contenu (<ref-ruling> consid. 6.1; arrêt 5A_804/2016 du 26 janvier 2017 consid. 3.1.2 et les nombreuses références). Les circonstances qui ont conduit au divorce et le comportement des époux durant le mariage ne constituent pas des critères à prendre en considération (arrêt 5A_804/2016 du 26 janvier 2017 consid. 3.1.2). Il n'est ainsi pas possible de tenir compte du fait que l'époux n'a exercé une activité lucrative qu'à temps partiel pendant le mariage, puisque le partage par moitié des prestations de sortie a précisément pour but de rétablir l'égalité entre les conjoints (<ref-ruling> consid. 4.3; arrêt 5A_796/2011 du 5 avril 2012 consid. 3.2, publié in FamPra.ch 2012 p. 755).
Selon la jurisprudence, le refus du partage total ou partiel peut par exemple se justifier lorsque les époux sont séparés de biens et que l'un d'entre eux, salarié, a accumulé obligatoirement un deuxième pilier alors que l'autre, qui exerce une activité à titre indépendant, s'est constitué un troisième pilier d'un certain montant. Dans ce cas, il peut être inéquitable, selon les circonstances, de partager le compte de prévoyance de l'époux salarié alors que le conjoint qui travaille de manière indépendante pourrait conserver sa prévoyance privée. On peut aussi mentionner le cas du conjoint qui, exerçant une activité lucrative, a financé les études de son conjoint, lui donnant ainsi la possibilité de se constituer à l'avenir une meilleure prévoyance que la sienne (arrêts 5A_398/2015 du 24 novembre 2015 consid. 4.1; 5A_220/2015 du 11 novembre 2015 consid. 5.2 et les références). Seule une disproportion manifeste dans la prévoyance globale des parties peut conduire à un refus total ou partiel du partage (pour un exemple, cf. <ref-ruling> consid. 6). En revanche, un simple déséquilibre entre les capacités financières des parties ne justifie pas de déroger au partage par moitié (arrêts 5A_398/2015 du 24 novembre 2015 consid. 4.1; 5A_220/2015 du 11 novembre 2015 consid. 5.2 et les références).
Outre les motifs tenant à la liquidation du régime matrimonial ou à la situation économique des époux après le divorce, le juge peut également refuser le partage lorsque, dans un cas concret et en présence d'un état de fait comparable ou semblable à celui décrit à l'<ref-law>, le partage constituerait un abus de droit (<ref-law>; <ref-ruling> consid. 4.3; arrêts 5A_178/2012 du 20 septembre 2012 consid. 6.3.2 et les références, publié in FamPra.ch 2013 p. 169; 5A_648/2009 du 8 février 2010 consid. 4.1, publié in FamPra.ch 2010 p. 439). Cette dernière circonstance ne doit être appliquée qu'avec une grande réserve (arrêts 5A_804/2016 du 27 janvier 2017 consid. 3.1.2; 5A_73/2013 du 20 août 2013 consid. 4.1; 5A_178/2012 du 20 septembre 2012 consid. 6.3.2 et les références).
Le Tribunal fédéral a ainsi considéré que le fait d'exiger le partage constituait un abus de droit lorsqu'on était en présence d'un mariage de complaisance, lorsque l'union n'avait pas été vécue en tant que telle, respectivement que les époux n'avaient jamais fait ménage commun, car il s'agissait dans ces différents cas d'un détournement du but du partage, ou encore lorsque le créancier de la moitié des avoirs de prévoyance était l'auteur d'une infraction pénale grave à l'encontre de son conjoint. En revanche, un comportement contraire au mariage, ainsi que les motifs qui ont conduit au divorce ne suffisent (généralement) pas pour que l'on retienne un abus de droit. Quant au fait qu'une partie a délibérément renoncé à obtenir un revenu depuis la suspension de la vie commune, il n'a aucune incidence sur le partage d'une épargne de prévoyance constituée durant le mariage et destinée à assurer les vieux jours (arrêts 5A_178/2012 du 20 septembre 2012 consid. 6.3.2 et les références; 5A_796/2011 du 5 avril 2012 consid. 6.1 et les références).
3.1.3. Lorsqu'il applique l'<ref-law>, le juge doit apprécier la situation en s'appuyant sur les règles du droit et de l'équité (<ref-law>; <ref-ruling> consid. 4.3; arrêt 5A_804/2016 du 26 janvier 2017 consid. 3.1.3 et les références). Le Tribunal fédéral revoit avec retenue la décision d'équité prise en dernière instance cantonale. Il n'intervient que lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation (<ref-law>), ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; en outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (parmi plusieurs, arrêt 5A_804/2016 du 26 janvier 2017 consid. 3.1.3 et les références).
3.2. La cour cantonale a considéré qu'en l'espèce, le partage n'était pas manifestement inéquitable au sens de l'<ref-law>, ni constitutif d'un abus de droit, de sorte que rien ne justifiait de renoncer au partage par moitié des avoirs de prévoyance professionnelle des parties. Elle a constaté que celles-ci ne faisaient plus ménage commun depuis fin 2001, date à laquelle l'ex-épouse avait emménagé avec son concubin, avec qui elle vit toujours. L'ex-épouse avait cessé de travailler en 2008 pour des raisons de santé, de sorte que ses avoirs LPP étaient très modestes au regard de son âge (15'783 fr. 25). Quant à l'ex-époux, qui avait procédé à des rachats pour un total de 245'000 fr. postérieurement à la séparation, il avait accumulé des avoirs de prévoyance professionnelle dépassant 950'000 fr.
En appel, l'ex-époux invoquait la disproportion manifeste entre sa propre prévoyance, qui représente 98,35% des avoirs LPP des parties, et celle de l'intimée (1,65%), ce qui aurait dû selon lui amener les premiers juges à refuser le partage. Après avoir relevé que la disproportion manifeste entre les avoirs respectifs des parties n'était pas le seul critère à prendre en considération, la juridiction d'appel a rappelé que le principe en matière de divorce était le partage par moitié des avoirs de prévoyance professionnelle entre les ex-époux, les exceptions prévues par la loi n'étant pas réalisées en l'espèce, puisqu'on ne se trouvait pas en présence d'un mariage de complaisance, ni d'une union qui n'aurait pas été vécue en tant que telle (absence de ménage commun), ni d'une créancière de la moitié des avoirs de prévoyance qui aurait commis une infraction pénale grave contre son conjoint. En outre, en l'occurrence, le concubinage de l'intimée ne suffisait clairement pas à exclure un partage des avoirs LPP accumulés durant le mariage. Pour le surplus, le montant de 44'760 fr. qui avait été versé à l'ex-épouse à titre de prévoyance professionnelle avait été pris en compte dans le calcul du partage des avoirs de prévoyance effectués par les premiers juges. Ce montant ne correspondait pas à la moitié des avoirs de prévoyance professionnelle de l'ex-époux au moment du versement, et aucun document ne confirmait qu'il aurait été versé pour solde de toute prétention de prévoyance. Le fait que l'ex-épouse n'ait pas constitué de prévoyance professionnelle depuis 2008 ne constituait pas non plus un élément permettant de supprimer tout partage des avoirs LPP. Enfin, si l'on pouvait certainement croire l'ex-époux lorsqu'il avait déclaré qu'il n'aurait jamais racheté des prestations LPP auprès de son employeur s'il avait su qu'il devrait les partager avec son ex-épouse, cela ne changeait rien au fait que ces prestations devaient être partagées. Il suffisait d'ailleurs à l'intéressé de se renseigner auprès d'un juriste ou d'un assureur pour obtenir la confirmation que le partage serait imposé.
3.3. Le recourant estime que le partage aurait dû être refusé, vu la disproportion manifeste entre ses propres avoirs de prévoyance (correspondant à 98,35 % des avoirs des parties) et ceux de l'intimée (1,65%). Il qualifie la décision entreprise d'insoutenable, dans la mesure ou elle " n'amène pas à l'égalité entre les conjoints, mais constitue un détournement du but du partage de la prévoyance professionnelle ". Il expose que son ex-épouse est en concubinage depuis 14 ans, que ses avoirs de prévoyance sont dérisoires, puisqu'elle s'est totalement abstenue de travailler depuis 2008 sans pour autant de demander une rente AI, et qu'elle a perçu une contribution d'entretien confortable durant toutes ces années, alors que ses filles étaient déjà majeures, de sorte qu'elle aurait été capable d'exercer une activité professionnelle et d'alimenter ses avoirs LPP. Enfin, l'ex-époux rappelle avoir allégué qu'il a procédé à des rachats de prestations LPP auprès de son employeur actuel, ce qu'il n'aurait jamais fait s'il devait les partager avec l'intimée.
3.4. L'argumentation du recourant trahit une mauvaise compréhension de la jurisprudence. Pour pouvoir valablement invoquer l'existence d'un cas d'exception au sens de l'<ref-law>, il aurait dû démontrer que son ex-épouse dispose d'autres éléments pouvant lui tenir lieu de prévoyance professionnelle et, sur cette base, expliquer en quoi la situation de son ex-épouse, lorsqu'elle aura pris sa retraite, sera sensiblement meilleure que la sienne, de sorte qu'un partage par moitié de leurs avoirs de prévoyance professionnelle provoquerait une disproportion manifeste dans leur prévoyance globale respective (cf. supra consid. 3.1.2). Le fait que, comme il l'affirme lui-même, ses propres avoirs LPP sont sensiblement supérieurs à ceux de l'intimée, tend précisément à démontrer qu'en l'espèce, il ne se justifie en principe pas de déroger au principe du partage. En tant que le recourant expose que son ex-épouse a délibérément renoncé à obtenir un revenu depuis la suspension de la vie commune, il omet que quand bien même ses allégations seraient avérées, de telles circonstances n'ont aucune incidence sur le partage d'une épargne de prévoyance constituée durant le mariage et destinée à assurer les vieux jours (cf. supra consid. 3.1.2). Le long concubinage de l'ex-épouse ne constitue pas non plus un facteur pertinent. Quant aux allégations du recourant selon lesquelles il n'aurait pas effectué de rachat de prévoyance s'il avait su que le partage serait ordonné, elles sont sans influence sur l'issue du litige. Dans la mesure où il ressort des pièces du dossier que les rachats ont été effectués entre 2008 et 2012, à savoir avant l'introduction de la demande en divorce, et où il n'est pas allégué, ni a fortiori démontré, que lesdits rachats auraient été effectués au moyen de biens propres de l'ex-époux, il n'y avait de toute manière pas lieu de les déduire du montant à partager (art. 22 al. 3 aLFLP a contrario; <ref-law> s'agissant de la présomption selon laquelle tout bien d'un époux est présumé acquêt, sauf preuve du contraire).
En définitive, le raisonnement de la cour cantonale ne révèle aucun abus du pouvoir d'appréciation (cf. supra consid. 3.1.3).
4.
Invoquant la violation des art. 62 et 63 CO, le recourant réclame le remboursement de contributions d'entretien qu'il aurait versées indûment à son ex-épouse entre janvier 2007 et novembre 2013, à savoir lorsque celle-ci vivait en concubinage qualifié. Il demande à ce titre la restitution de 330'900 fr.
4.1. Examinant la critique de l'ex-époux, qui soutenait avoir été dans l'erreur en payant une pension à son ex-épouse alors que le concubinage qualifié de celle-ci l'en aurait dispensé, la Cour d'appel civile a considéré que l'absence de cause légitime n'était pas établie. L'ex-époux oubliait que les parties avaient convenu entre elles de régler leur séparation à l'amiable, sans le concours d'un avocat. De plus, les filles du couple étaient à la charge de leur père. Il n'était donc pas si évident de soutenir que l'ex-époux se trouvait dans l'erreur lorsqu'il a décidé de contribuer à l'entretien de son ex-épouse, d'autant plus que celle-ci ne travaillait plus dès 2008. Certes, le concubinage qualifié aurait pu changer l'appréciation du montant dû, mais il était faux d'affirmer qu'aucune pension n'aurait été due, puisqu'il aurait fallu notamment tenir compte de ce que les époux avaient convenu dans le passé à propos de la garde des enfants et du temps de travail y relatif, mais aussi de l'âge des époux à la majorité des enfants, de la formation de ceux-ci, ou encore de la possibilité pour l'ex-épouse de reprendre une activité et du taux pouvant être exigé d'elle, entre autres critères.
4.2. Le recourant fait valoir qu'il a payé des pensions pour un total de 330'900 fr. en croyant par erreur qu'il en était débiteur malgré le concubinage de son ex-épouse. Selon lui, le concubinage qualifié de l'ex-épouse (qui avait débuté en 2002, soit 5 ans plus tôt) avait pour effet une suppression pure et simple de son devoir d'entretien à son égard, ce d'autant plus qu'il contribue séparément à l'entretien de ses filles majeures. L'argumentation de la juridiction cantonale serait donc erronée. A cela s'ajoute que, dès qu'il a eu conscience d'effectuer des versements en vertu d'une cause qui avait cessé d'exister, à savoir au mois de décembre 2013, il n'aurait plus rien versé à son ex-épouse, et celle-ci n'aurait pas pour autant réclamé de contribution d'entretien. Dans ces conditions, il estime avoir droit à la restitution des montants versés en trop, ceux-ci reposant selon lui sur une cause qui a cessé d'exister.
4.3.
4.3.1. Selon l'<ref-law>, les époux contribuent, chacun selon ses facultés, à l'entretien de la famille (al. 1); l'entretien est dû même en cas d'absence de vie commune. Les époux conviennent de la façon dont chacun apporte sa contribution (<ref-law>), c'est-à-dire de la répartition des rôles ainsi que du mode et du contenu de la contribution de chacun. Dans la limite de l'<ref-law>, les époux peuvent convenir librement de cette répartition (CÉLINE DE WECK-IMMELÉ, in Bohnet/Guillod (éd.), Droit matrimonial, Commentaire pratique, 2016, n° 34 ad <ref-law>; DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 2ème éd., 2009, n° 441 et 441a p. 244). Leur accord n'est soumis à aucune forme: il peut notamment être implicite ou résulter d'actes concluants (arrêt 5A_317/2014 du 15 juillet 2014 consid. 5 et les références). Il doit respecter les règles applicables au contenu et à la forme des contrats (<ref-law>; DESCHENAUX/ STEINAUER/BADDELEY, op. cit., n° 441a p. 244).
4.3.2. A teneur de l'<ref-law>, le contrat n'oblige pas celle des parties qui, au moment de le conclure, était dans une erreur essentielle. Selon l'<ref-law>, il y a erreur essentielle notamment lorsque l'un des cocontractants s'est mépris sur des faits qu'il pouvait considérer, du point de vue de la loyauté en affaires, comme des éléments nécessaires du contrat. Pour que cette hypothèse soit réalisée, l'erreur doit avoir porté sur un point spécifique qui a effectivement déterminé la victime à conclure le contrat ou à le conclure aux conditions convenues, et qui, objectivement, du point de vue de la bonne foi en affaires, doit être considéré comme un élément essentiel du contrat (<ref-ruling> consid. 3.4.; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3; <ref-ruling> consid. b; <ref-ruling> consid. 2). Déterminer ce que les parties avaient à l'esprit au moment de conclure relève de la constatation des faits, alors qu'apprécier si l'erreur constatée est essentielle ressortit à l'application du droit (ATF <ref-ruling> consid. 2.2; <ref-ruling> consid. 1a).
Lorsque le contrat est invalidé pour erreur essentielle (cf. <ref-law>), les parties doivent restituer les prestations déjà effectuées conformément aux dispositions sur l'enrichissement illégitime (<ref-ruling> consid. 4.4.3).
4.4. S'il est acquis qu'en l'espèce, aucune contribution d'entretien n'a été fixée par jugement, il est cependant établi que les ex-époux se sont mis d'accord sur le versement de contributions d'entretien, et le recourant ne prétend pas que les montants ainsi fixés auraient été différents de ceux qu'il a effectivement versés. Le recourant pouvait parfaitement s'obliger conventionnellement à verser des contributions d'entretien à l'intimée. De telles conventions, qui reposent sur l'<ref-law>, ne sont soumises à aucune exigence de forme. Quant au contenu, les conventions conclues ne prévoyaient pas un engagement excessif au sens de l'<ref-law>. Les parties étaient par ailleurs libres de se mettre d'accord sur une contribution d'entretien plus élevée ou plus faible que celle qui aurait pu être fixée par jugement (cf. supra consid. 4.3.1). Les conventions successives conclues par les parties constituent ainsi la cause de l'obligation.
Le recourant, qui ne prétend pas avoir ignoré l'existence du concubinage de l'intimée au moment de signer les conventions, semble en revanche affirmer que s'il avait connu les conséquences juridiques d'un long concubinage, il n'aurait pas convenu du versement d'une contribution d'entretien. Dans l'hypothèse où, par sa critique, il entendrait soutenir que les conventions conclues sont entachées d'un vice du consentement, en particulier, d'une erreur essentielle, de sorte qu'elles ne seraient pas valables, on ne saurait cependant le suivre. Son éventuelle erreur est intervenue au stade de la formation de la volonté. Il s'agit, le cas échéant, d'une erreur sur les motifs. Une telle erreur n'est essentielle que si elle porte sur des faits que la loyauté commerciale permettait à la victime de considérer comme des éléments essentiels du contrat. En d'autres termes, l'erreur doit porter sur un fait subjectivement essentiel, qu'il est en plus objectivement justifié de considérer, selon le principe de la bonne foi en affaires, comme un élément essentiel du contrat (cf. supra consid. 4.3.2), ce qui n'est à l'évidence pas le cas en l'espèce. L'erreur invoquée n'est autre qu'une simple erreur sur les motifs ayant conduit l'ex-époux à signer les conventions, qui ne lui permet pas de se soustraire à celles-ci (cf. supra consid. 4.3.2).
Il résulte de ce qui précède que contrairement à ce qu'il soutient, les versements qu'il a effectués ne l'ont pas été sans cause légitime, ni en vertu d'une cause qui aurait cessé d'exister, au sens des <ref-law>.
Au demeurant, contrairement à ce que présuppose le recourant, toute contribution d'entretien en faveur de l'époux débiteur n'est pas automatiquement supprimée lorsque celui-ci se trouve en concubinage, fût-il durable. Avant que le divorce ne soit prononcé, l'élément déterminant n'est d'ailleurs pas la durée du concubinage, mais l'avantage économique qui en découle (à propos du lien entre concubinage et contributions d'entretien dans le cadre de mesures provisionnelles, cf. arrêt 5A_470/2013 du 26 septembre 2013 consid. 4.2 et les références).
5.
Vu ce qui précède, le recours est rejeté, aux frais du recourant (<ref-law>). Il n'est pas alloué de dépens, l'intimée n'ayant pas été invitée à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 mai 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Dolivo