Faits :
A.
A.a. A l'arrière-plan du présent litige, on trouve plusieurs sociétés, liées (de diverses manières) les unes aux autres:
a) A._ Sàrl, inscrite au registre du commerce le 16 mai 2008, puis déclarée en faillite le 10 juillet 2014, exerçait ses activités (exploitation de cabinets, vente de produits, services) dans le domaine du bien-être et de la santé. Ses associés gérants étaient H.X._, président, et son épouse, F.X._. Le 1er novembre 2008, la société a délégué la gestion de sa comptabilité générale et des salaires à B._ société coopérative (cf. infra).
b) Z._ SA, dont les époux X._ étaient actionnaires (jusqu'en 2010), a pour but l'exploitation d'une pharmacie. De fin 2001 à mai 2010, H.X._ a été président de son conseil d'administration, puis, de juin à décembre 2010, M._ a repris cette fonction.
c) B._ société coopérative (ci-après: B._) a notamment pour but de proposer des services visant à alléger les tâches administratives et comptables. A._ Sàrl bénéficiait d'un " compte dépôt " auprès de B._, qui affichait, au 16 août 2010, un solde en faveur de cette dernière de 485'271 fr.21.
B._ détient (par le biais de la Holding C._) deux sociétés:
- E._ SA, qui a pour but de financer des personnes morales ou physiques actives dans le domaine de la santé (en particulier des pharmacies).
- D._ SA qui a notamment pour but le recouvrement de créances.
Ces trois dernières sociétés (E._ SA, B._ et D._ SA) sont domiciliées au même endroit, ont le même organe de révision et, jusqu'en 2011, avaient le même président ou directeur général, soit M._, qui détenait une action de chacune de ces sociétés.
A.b. Par contrat du 9 septembre 2008, E._ SA a accordé à A._ Sàrl un prêt d'un montant de 1'500'000 fr.
La convention fixait les modalités de remboursement et elle prévoyait également des garanties. Selon le libellé du contrat, les époux X._ " transfèrent à [E._ SA] la propriété des parts sociales de [A._ Sàrl] à titre fiduciaire et en garantie du prêt ", et H.X._ " transfère à [E._ SA] la propriété des actions de [Z._ SA] à titre fiduciaire et en garantie du prêt ", un contrat de fiducie devant, dans les deux cas, régler l'usage que E._ SA pouvait faire des actions qui lui étaient confiées.
A.c. Par courrier du 26 février 2010, E._ SA, par son président M._, a confirmé à H.X._ être d'accord avec l'"exécution de la garantie de prêt à [A._ Sàrl]" et informé que, "comme convenu", sa société compensait les dettes contractées par A._ Sàrl auprès de toutes ses sociétés, par la reprise des actions de Z._ SA déjà en la possession de E._ SA.
Par convention du 12 mars 2010, rédigée par E._ SA, les époux X._ ont vendu à cette dernière société (acheteuse) l'intégralité des actions qui composent le capital de Z._ SA (société demanderesse), pour un prix fixé à 2'000'000 fr.
S'agissant du prix de vente des actions, le chiffre 4 du contrat prévoit ce qui suit:
" Calculé sur la base du bilan au 31 décembre 2009, le prix de vente du capital-actions est de CHF 2'000'000.00 (En lettres: deux millions de francs). Le prix de vente est exigible lors de la signature du présent contrat et du transfert des actions aux acheteurs. Il est acquitté par reprise de dette envers E._ d'un montant de CHF 2'000'000.00, correspondant au prix de vente fixé pour solde de tout compte. "

Selon les constatations cantonales, le prix de 2'000'000 fr. - qui renvoie à une somme (dette) que les parties considèrent dorénavant comme acquittée - correspond plus ou moins au remboursement du prêt octroyé par E._ SA à A._ Sàrl (1'500'000 fr.), plus le remboursement du crédit que A._ Sàrl avait auprès de B._ (485'001 fr.67).
A.d. En sa qualité d'administrateur, H.X._ bénéficiait d'un compte courant auprès de Z._ SA.
Ce compte est mentionné dans le rapport établi le 3 novembre 2010 par l'organe de révision de cette société. Un montant de 142'002 fr.90 figure sous la rubrique " prêt envers un actionnaire ".
Le litige porte sur ce " prêt ". Il s'agit de savoir si H.X._ reste tenu de le rembourser. Celui-ci soutient que le contrat du 12 mars 2010 (soit la clause " prix de vente fixé pour solde de tout compte ") règle définitivement la situation aussi pour lui, sa dette à l'égard de la société demanderesse devant être considérée comme éteinte. Cette dernière société réfute cette interprétation en soulignant que le contrat de vente du 12 mars 2010 ne peut déployer des effets envers le défendeur, qui n'en est pas partie.
Par courrier du 28 juin 2010, D._ SA, agissant au nom et pour le compte de Z._ SA, a mis H.X._ en demeure de payer le montant de 138'862 fr.15.
Le 16 juillet 2010, Z._ SA a cédé à D._ SA sa prétention contre H.X._.
Un commandement de payer a été notifié, sur réquisition de D._ SA, précisant, sous " Titre de la créance ou cause de l'obligation ": " Créance cédée par Z._ SA, selon contrat de cession. La créance suivante nous a été cédée: Solde du débiteur du compte courant no... ". H.X._ y a formé opposition totale.
Le 3 janvier 2011, D._ SA a rétrocédé la créance litigieuse à Z._ SA.
B.
B.a. Par demande du 29 décembre 2010, Z._ SA (ci-après également: la demanderesse) a ouvert action contre H.X._ (ci-après également: le défendeur) auprès de la Cour civile du Tribunal cantonal vaudois; elle a conclu au paiement du montant de 138'862 fr.15, ainsi qu'à la mainlevée de l'opposition formée à la poursuite correspondante.
Le défendeur a déposé une réponse le 2 mai 2011.
Le 18 juin 2012, après avoir fixé un délai aux parties, le juge instructeur de la Cour civile a constaté la péremption de l'instance (selon les règles de l'ancienne procédure vaudoise) et il a ordonné que la cause soit rayée du rôle.
Dans l'intervalle, soit le 12 juin 2012, la société demanderesse a ouvert une nouvelle action contre le défendeur auprès de la Chambre patrimoniale cantonale. La conciliation ayant échoué, elle s'est vu délivrer une autorisation de procéder.
Par demande du 24 octobre 2012, la demanderesse a conclu à ce que sa partie adverse soit condamnée à lui verser le montant de 143'042 fr.25, intérêts en sus (sous déduction d'un montant de 2'292 fr. déjà versé) et à ce que son opposition soit définitivement levée à concurrence de 138'862 fr.15.
Le défendeur a conclu au rejet de la demande.
En cours de procédure, une expertise a été confiée à N._, expert-comptable et fiscal, qui a rendu son rapport le 16 décembre 2013.
B.b. Par jugement du 9 octobre 2014, la Chambre patrimoniale cantonale a condamné le défendeur à payer à la société demanderesse la somme de 140'749 fr.45, intérêts en sus, levé définitivement l'opposition à concurrence de ce montant, sous déduction des avances déjà faites (d'un montant de 9'656 fr.), les frais et dépens étant mis à sa charge.
B.c. Par arrêt du 17 août 2015, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté le recours formé par le défendeur et confirmé le jugement entrepris.
C.
Le défendeur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 17 août 2015. Il conclut à son annulation et à son renvoi devant l'instance précédente, subsidiairement, à sa réforme en ce sens que les conclusions prises par la société demanderesse soient intégralement rejetées, sous suite de frais et dépens.
Le recourant invoque la violation des art. 312 al. 1 et 316 CPC, ainsi que de l'art. 6 § 1 CEDH, fait état d'un établissement arbitraire (art. 9 Cst.) des faits, d'une transgression des art. 680 al. 2, 20 al. 1 et 66 CO, d'une application erronée de l'art. 2 CC, du principe de la transparence ( Durchgriff), de l'art. 18 CO et du principe in dubio contra stipulatorem, ainsi que d'une violation de l'art. 165 CO qui a conduit à admettre, selon lui à tort, la qualité pour agir de la société demanderesse.
La société intimée conclut au rejet du recours, sous suite de frais et dépens.
L'effet suspensif sollicité par le recourant lui a été octroyé par ordonnance présidentielle du 18 janvier 2016.
Considérant en droit :
1.
1.1. Interjeté par la partie qui a succombé dans ses conclusions libératoires et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est recevable, puisqu'il a été déposé dans le délai (art. 45 al. 1, 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
Le Tribunal fédéral ne peut s'écarter des faits ainsi retenus par l'autorité cantonale que s'ils ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
1.3. Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (art. 106 al. 2 LTF; <ref-ruling> consid. 1.4 in fine).
Le Tribunal fédéral n'est pas lié par l'argumentation des parties et apprécie librement la portée juridique des faits; il s'en tient cependant aux questions juridiques que la partie recourante soulève dans la motivation du recours et ne traite donc pas celles qui ne sont plus discutées par les parties, sous réserve d'erreurs manifestes (art. 42 al. 2 LTF; <ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 1.3 p. 584).
2.
Examinant l'appel du défendeur (sans ordonner d'échanges d'écritures), la cour cantonale a admis que la société demanderesse avait la qualité pour agir, la cession de créance à D._ SA n'étant pas déterminante, cette dernière société ayant ensuite rétrocédé la créance à la demanderesse. Elle a ensuite considéré que le défendeur n'avait pas démontré l'illicéité du prêt litigieux en vertu de l'art. 680 CO et précisé que, même à le considérer comme illicite, le défendeur ne serait pas libéré de son engagement à rembourser la société demanderesse, la cause de l'obligation devant alors être recherchée dans les règles sur l'enrichissement illégitime (art. 62 ss CO).
Les juges cantonaux ont également relevé que la société demanderesse n'était pas partie au contrat de vente d'actions du 12 mars 2010 (liant le défendeur, son épouse, et E._ SA) et qu'elle n'avait jamais déclaré renoncer à la créance qu'elle avait à l'encontre de son ancien administrateur. Ils ont conclu que celui-ci ne pouvait opposer à la société le contrat de vente d'actions, et donc la quittance pour solde de tout compte qu'il comportait et ils ont ajouté que, le contrat n'ayant pas été conclu dans un but qui ne mérite pas la protection de la loi, les conditions d'application des principes de la transparence ( Durchgriff) et de la bonne foi n'étaient pas remplies.
Enfin, les magistrats précédents ont confirmé l'interprétation des premiers juges selon laquelle la réelle et commune intention des parties n'était pas d'éteindre la dette du défendeur envers la société demanderesse.
3.
3.1. Le recourant estime que l'art. 312 CPC a été violé, et à sa suite l'art. 316 CPC, ainsi que l'art. 6 § 1 CEDH. Selon lui, son appel cantonal n'était ni irrecevable ni manifestement infondé et il appartenait à la cour cantonale de solliciter une réponse de sa partie adverse, ce qui lui aurait permis de s'exprimer sur les arguments soulevés par celle-ci.
En l'occurrence, le recourant rappelle pourtant lui-même que l'art. 312 CPC vise à faire respecter le droit d'être entendu de la partie intimée à l'appel (acte de recours ch. 1 p. 3), et non à donner ensuite l'occasion à l'appelant, qui n'aurait lui-même pas été complet, de s'exprimer lors d'un second échange d'écritures; l'appelant n'a pas le droit d'obtenir une réponse, mais seulement le droit de répliquer si la partie adverse fait usage de son propre droit de réponse (arrêt 5A_737/2012 du 23 janvier 2013 consid. 4.2.3). Ainsi, même si l'autorité avait notifié l'appel à la partie intimée pour qu'elle se détermine, l'appelant n'avait pas la garantie de pouvoir répliquer à son tour, l'intimée pouvant renoncer à produire une réponse.
Pour le surplus, le point de savoir si, dans le cas d'espèce, l'autorité cantonale aurait dû, plutôt que de retenir en définitive que l'appel était manifestement infondé, impartir un délai à la société demanderesse pour déposer une réponse peut rester indécis, compte tenu du fait que le défendeur (appelant) n'en subit aucun préjudice; celui-ci a d'ailleurs ainsi évité de devoir verser des dépens à sa partie adverse (cf. arrêt entrepris consid. 7 p. 18).
La critique est donc infondée.
3.2. Le recourant reproche également à la cour cantonale d'avoir établi plusieurs points de fait de manière arbitraire (art. 9 Cst.).
3.2.1. Il estime que c'est à tort que les magistrats précédents n'ont pas cité les conclusions finales prises dans le rapport du 3 novembre 2010 rédigé par les " experts-réviseurs " de la société demanderesse selon lesquelles les " créances envers un actionnaire et des sociétés proches de ce dernier, s'élevant au total à CHF 340'582,40 au 31 décembre 2009 constituent une restitution de (...) versements contraire à l'art. 680 al. 2 CO ".
La critique tombe à faux, puisqu'il s'agit là d'une pure appréciation juridique effectuée par les réviseurs, qui ne lie pas le juge (à cet égard cf. infra consid. 3.3).
3.2.2. En ce qui concerne les critiques du recourant visant, d'une part, la question du rédacteur du contrat du 12 mars 2010 et, d'autre part, l'appréciation de sa situation par la cour cantonale (qui aurait considéré à tort qu'il serait rompu aux affaires), elles visent à corriger des points de fait qui auraient une influence sur l'application du principe in dubio contra stipulatorem.
Comme nous le verrons (cf. infra consid. 3.5), il n'y a en l'espèce pas lieu de procéder à l'application de ce principe et les critiques y relatives se révèlent sans consistance.
3.2.3. En lien avec la question de la cession de la créance litigieuse, le recourant affirme que l'arrêt entrepris a omis de retenir que la " confirmation de cession " est datée du 17 mai 2010. Il ne précise toutefois pas de quelle pièce du dossier il tire cette information, ni en quoi les juges précédents auraient établi les faits de manière arbitraire en omettant de faire ce constat. Sa critique, qui ne respecte pas les exigences strictes fixées aux art. 97 al. 1 et 106 al. 2 LTF, est irrecevable (cf. supra consid. 1.2 et 1.3).
3.3. Le recourant se plaint ensuite d'une application erronée des art. 680 al. 2, 20 al. 1 et 66 CO. Il considère que le prétendu prêt accordé par la société est illicite (art. 680 al. 2 CO), qu'il est donc nul (art. 20 al. 1 CO), et que, le prêt ayant été convenu en vue d'atteindre un but illicite ou contraire aux moeurs, une répétition est exclue (art. 66 CO).
On observe d'emblée que le moyen est infondé. Même à considérer que le versement sur le compte du défendeur serait contraire à l'art. 680 al. 2 CO (ce qui, au vu des constatations cantonales, semble douteux), il ne serait pas libéré de sa dette envers la société, mais resterait tenu au remboursement, conformément aux règles sur l'enrichissement illégitime (art. 62 ss CO).
C'est en vain que le recourant soutient que la répétition est exclue (art. 66 CO). On ne pourrait aller dans son sens que si les prestations avaient été apportées pour provoquer ou récompenser un comportement illicite ou contraire aux moeurs (salaire d'un acte illicite ou immoral), et non si elles ont été faites en exécution d'un contrat illicite ou contraire aux moeurs (<ref-ruling> consid. 3.2 p. 445 s.). En l'occurrence, le défendeur n'a allégué (et prouvé) aucun élément permettant de considérer que le " prêt " lui a été accordé dans le but de l'inciter à un comportement illicite ou contraire aux moeurs.
Enfin, le recourant se limite à invoquer la prescription (art. 67 CO) (" à toutes fins utiles ") devant la Cour de céans sans toutefois fournir la moindre motivation à cet égard. Au demeurant, la prescription doit être soulevée par voie d'exception et motivée en première instance déjà, le juge ne pouvant la retenir d'office (art. 142 CO). Le recourant ne démontre pas, ni même ne soutient, qu'il aurait invoqué la prescription déjà en première instance (ce que l'intimée réfute) et le Tribunal fédéral n'a donc pas à examiner cette question.
3.4. Le recourant soutient que le contrat de vente (soit la clause contenant la quittance pour solde de tout compte) qu'il a conclu, aux côtés de son épouse, avec E._ SA lie également une tierce personne (soit Z._ SA). Il considère que si cela n'avait pas traduit la volonté des parties, une réserve aurait été introduite, telle que " sous réserve des rapports internes entre Z._ SA et H.X._ ". Selon lui, il existerait en outre une unité économique entre E._ SA (en sa qualité d'actionnaire unique de Z._ SA) et Z._ SA (en qualité de société) et, dans ce contexte, l'application du principe de la transparence (ou levée du voile corporatif; Durchgriff) se justifierait.
3.4.1. La première partie de l'argumentation (nécessité de mentionner une réserve) peut d'emblée être écartée, le contrat étant conclu entre les époux X._ et E._ SA (relativité des conventions) et les parties n'ayant pas à exclure les éventuels rapports entre l'une des parties et une tierce personne (étrangère au contrat).
3.4.2. L'objectif de la levée du voile corporatif, évoquée dans le deuxième pan de l'argumentation, est de pouvoir prendre en compte l'associé unique en plus de la société (levée directe du voile, direkter Durchgriff) ou, hypothèse que semble plébisciter le recourant, de rechercher la société qui se cache derrière l'associé unique (levée inversée du voile, umgekehrter Durchgriff). Dans cette dernière hypothèse, on peut citer le cas d'un immeuble appartenant à une société qui peut être séquestré au profit des créanciers de l'actionnaire unique, lorsque ce dernier soustrait de manière abusive ses actions à l'emprise de ses créanciers (<ref-ruling> consid. II.1 p. 169 ss).
En l'espèce, la société demanderesse et E._ SA étaient à l'origine deux sociétés distinctes, tant juridiquement qu'économiquement. Celle-ci n'est devenue actionnaire unique de celle-là qu'au moment du transfert des actions prévu par le contrat du 12 mars 2010. E._ SA ne pouvait alors plus influencer le contenu du contrat (alors fixé entre les parties), en profitant de sa position d'actionnaire unique, le cas échéant afin d'éluder certains engagements.
Force est de constater que le défendeur recourant n'a pas pour objectif de rechercher la société (Z._ SA) qui se cache derrière l'associé unique (E._ SA), au motif que celui-ci (E._ SA) tenterait d'éluder un contrat conclu avec les époux X._ (ce qui pourrait légitimer la levée du voile corporatif). En réalité, il procède à une " construction " totalement étrangère aux divers cas de figure conduisant à l'application du principe de la transparence, dans le seul but de favoriser une interprétation du contrat favorable à sa thèse (selon laquelle le contrat déploierait des effets à l'égard d'une tierce personne).
En définitive, il ne s'agit en l'espèce pas d'appliquer le principe de la transparence, mais simplement d'interpréter le contrat, selon les règles usuelles, notamment pour établir si les parties ont eu la volonté de créer, dans le cadre de la convention litigieuse, un rapport tripartite (représentation, stipulation pour autrui, reprise de dette externe,...) (cf. infra consid. 3.5).
3.5. Le recourant, qui critique la manière dont la cour cantonale a interprété le contrat, se limite à prétendre qu'un doute suffisant existerait et qu'une interprétation en défaveur de la partie qui l'a rédigé (E._ SA) devrait être entreprise.
A cet égard, la cour cantonale ne distingue pas clairement l'interprétation subjective (volonté réelle et commune des parties) de l'interprétation objective (selon le principe de la confiance) (cf. arrêt entrepris consid. 6.1.2 p. 16 s.). A la lecture de la subsomption, on comprend malgré tout que les magistrats cantonaux, qui font explicitement référence à " l'appréciation des faits, complète et convaincante " des premiers juges (arrêt entrepris consid. 6.2 p. 18), ont confirmé que " la réelle et commune volonté des parties n'était pas d'éteindre la créance [recte: la dette] du défendeur envers la demanderesse " (jugement de première instance ch. III.c p. 44). Les juges précédents ont donc implicitement exclu toute relation tripartite (stipulation pour autrui,...).
Cela étant, les magistrats cantonaux sont parvenus à déterminer la réelle et commune intention des parties et, contrairement à ce que pense le recourant, il n'y avait pas lieu de recourir à l'interprétation objective, ni - mesure subsidiaire - d'interpréter la clause contractuelle litigieuse en défaveur de son auteur (cf. 122 III 118 consid. 2a p. 121 et les arrêts cités).
Il appartenait plutôt au recourant de démontrer que les juges précédents avaient établi la volonté réelle et commune des parties en faisant preuve d'arbitraire (art. 9 Cst.), ce qu'il n'a pas fait. Il n'y a pas lieu d'entrer en matière sur ce point.
3.6. Dans un ultime moyen, le recourant évoque une application erronée de l'art. 165 CO et l'absence de légitimation active de la société demanderesse.
Le recourant semble prétendre que les cessions opérées les 16 juillet 2010 (cession de la société demanderesse à D._ SA) et 3 janvier 2011 (rétrocession à la société demanderesse) ne sont pas valables et que, par le contrat de vente conclu le 12 mars 2010, E._ SA aurait acquis la titularité de la créance litigieuse de la société demanderesse contre le défendeur.
On peine à comprendre l'argumentation du recourant. Sur le dernier point (titularité de la créance), il oublie que la société demanderesse, en tant que personne morale, est toujours restée titulaire de la créance litigieuse, malgré le transfert de ses actions.
Le grief soulevé repose quoi qu'il en soit sur des faits qui ne résultent pas de l'arrêt cantonal. Il en va notamment ainsi des dates que le recourant évoque, soit le 17 mai 2010 (cf. aussi supra consid. 3.2.3) et le 8 janvier 2010 (non mentionnée par les juges précédents). Le moyen se révèle dès lors irrecevable.
4.
Il résulte des considérations qui précèdent que le recours en matière civile doit être rejeté dans la mesure où il est recevable.
Les frais et les dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à la société intimée une indemnité de 6'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 26 avril 2016
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget