Faits :
A.
A.a. A._ (ci-après: la caution no 1 ou le recourant) et C._ (ci-après: la caution no 2) étaient administrateurs de D._ SA (ci-après: la société).
A.b. Les 22 février et 18 octobre 2011, les deux administrateurs ont accepté, par acte notarié, de se porter cautions solidaires envers la Banque B._ (ci-après: la banque, la demanderesse ou l'intimée), pour des montants totaux maximaux respectifs de 110'000 fr. et de 250'000 fr. Ces engagements servaient de garantie pour les crédits de 100'000 fr. et de 220'000 fr. souscrits par la société auprès de la banque.
A.c. Suite à des différends relatifs à la gestion de la société, les deux administrateurs ont décidé de se séparer; ils sont convenus d'un transfert immédiat et gratuit des actions de la société appartenant au premier nommé (la caution no 1) en échange de sa libération préalable de toute obligation par la banque et par la Banque E._ ainsi que de toute responsabilité par le second nommé (la caution no 2).
Le 15 novembre 2013, la fiduciaire de la caution no 2 a informé la caution no 1 du fait qu'elle avait fait une demande correspondante à la banque et à la Banque E._.
Le 2 décembre 2013, elle lui a indiqué qu'un rendez-vous était prévu le lendemain avec la banque en vue de sa libération. Peu après, elle lui a communiqué plusieurs documents, dont les pages de garde, non signées, de deux offres de crédit de la banque datées du 26 novembre 2013 et prévoyant le cautionnement solidaire de la seule caution no 2 à concurrence de 110'000 fr. et de 250'000 fr.
Le 9 décembre 2013, la Banque E._ a informé la caution no 1 de sa libération.
A.d. Les 11 et 19 décembre 2013, le conseil de la caution no 1 a demandé à la banque de lui confirmer la libération de son client.
Le 30 décembre 2013, F._, employée de la banque, lui a répondu qu'elle allait " voir pour [lui] faire une correspondance dans ce sens prochainement ".
A.e. Le 28 janvier 2014, la banque a fait parvenir un courrier à la société dans lequel elle se référait à " [l']offre de crédit du 26 novembre 2013 restée sans réponse de [la] part [de la société] ".
Selon un courrier du 4 mars 2015 de la banque, la caution no 2 et son conseil, le conseil de la caution no 1, excusée pour raison de santé, et la banque se sont réunis le 3 février 2014 en raison de dépassements dans les montants empruntés au titre de crédit par la société. Ce serait à cette occasion que la banque aurait pris acte du fait que la société avait cessé ses activités, sans toutefois pouvoir rembourser ses engagements envers elle.
A.f. Entre le 27 octobre 2014 et le 27 janvier 2015, la banque a adressé à la société, à sa seule attention ou avec copie aux deux cautions, divers courriers relatifs aux engagements contractuels de la société que celle-ci ne respectait pas et aux montants dont celle-ci restait débitrice.
Le 4 mars 2015, elle a résilié les prêts de la société avec effet immédiat et mis celle-ci en demeure de lui faire parvenir divers montants d'ici au 31 mars 2015. Ces montants n'ayant pas été versés, elle a, le 7 juillet 2015, mis en demeure les deux cautions de les lui faire parvenir.
A.g. Le 6 janvier 2016, la société a été déclarée en faillite.
B.
Après que la conciliation a échoué, la banque a déposé sa demande contre les deux cautions auprès de la Chambre patrimoniale cantonale du canton de Vaud le 14 avril 2016, concluant, en substance, à ce que celles-ci soient reconnues débitrices solidaires envers elle de 9'392 fr. 35, 60 fr., 9'386 fr. 25, 126'272 fr. 95, 13'690 fr. 20, 90'000 fr., 4'555 fr. 55 et 20 fr., intérêts et frais en sus et sous déduction de 2'985 fr. 10, 337 fr. 15 et 365 fr. 45 et à ce que les oppositions que celles-ci avaient formées contre les commandements de payer correspondants soient définitivement levées à concurrence desdits montants. La banque a ultérieurement réduit ses conclusions au vu des dividendes de 4'640 fr. 90 et de 2'860 fr. 55 qu'elle avait reçus dans le contexte de la faillite de la société.
Lors d'une audience d'instruction, la caution no 1 a confirmé qu'elle n'avait pas été libérée de ses engagements envers la banque.
Par jugement du 17 décembre 2019, la Chambre patrimoniale a, en substance, donné droit à la demanderesse contre les deux cautions.
Par arrêt du 8 janvier 2021 expédié aux parties le 14 janvier 2021, le Tribunal cantonal du canton de Vaud a rejeté l'appel formé par la caution no 1. Il a retenu qu'aucun élément de fait ne permettait de retenir que la banque se serait engagée à la libérer de ses obligations envers elle.
C.
Le 12 février 2021, la caution no 1 a formé un recours en matière civile contre cet arrêt auprès du Tribunal fédéral. En substance, elle conclut, avec requête d'effet suspensif, à ce que l'arrêt entrepris soit annulé et, principalement, à ce que la demande de la banque soit rejetée ou, subsidiairement, à ce que la cause soit renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
L'intimée et la cour cantonale n'ont pas été invitées à se déterminer.
Par ordonnance présidentielle du 16 février 2021, la requête d'effet suspensif a été rejetée.

Considérant en droit :
1.
Interjeté dans le délai fixé par la loi (art. 100 al. 1 LTF) par le recourant, qui a succombé dans ses conclusions en libération (art. 76 al. 1 LTF), et dirigé contre une décision finale (art. 90 LTF) rendue sur appel par le tribunal supérieur du canton de Vaud (art. 75 LTF) dans une affaire civile (art. 72 al. 1 LTF) dont la valeur litigieuse dépasse 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est en principe recevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3 et les références citées). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références citées). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral applique en principe d'office le droit (art. 106 al. 1 LTF) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié). Cela ne signifie pas que le Tribunal fédéral examine, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser. Compte tenu de l'obligation de motiver imposée par l'art. 42 al. 2 LTF, il ne traite que les questions qui sont soulevées devant lui par les parties, à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2, 86 consid. 2). Il n'est en revanche pas lié par l'argumentation juridique développée par les parties ou par l'autorité précédente; il peut admettre le recours, comme il peut le rejeter en procédant à une substitution de motifs (<ref-ruling> consid. 1.4).
2.3. En l'espèce, le recourant reproche à la cour cantonale d'avoir constaté les faits de manière manifestement inexacte (art. 9 Cst.).
Il invoque qu'il soutient et répète, depuis le début de la procédure, que l'intimée l'a libéré de ses obligations et qu'il a toujours adopté une position claire à ce propos.
Reconnaissant que ses propos, par lesquels il a confirmé en audience qu'il n'avait pas été libéré de ses obligations par la banque, " ont peut-être été maladroits ", il avance qu'ils ne correspondent pas à un changement radical et durable de sa position. Selon lui, " [i]l s'agit plutôt d'une affirmation malencontreuse faite dans un contexte bien particulier dans lequel [il] s'est fait interroger sans pouvoir bénéficier de son mandataire [...] - se trouvant ainsi dans un grand désarroi face à un monde judiciaire complexe dont le fonctionnement très codifié lui est parfaitement étranger ".
Enfin, il avance qu'on verrait mal pourquoi il aurait, malgré ses problèmes de santé, engagé tant d'énergie dans cette procédure s'il pensait ne pas avoir été libéré de ses engagements.
Quoi qu'il en soit, le fait qu'il aurait soutenu, presque tout au long de la procédure, que l'intimée l'avait libéré de ses engagements ne permet pas d'établir que telle avait été la volonté de la banque. Qu'il ait conduit cette procédure malgré ses problèmes allégués de santé ne permet pas non plus de retenir une telle volonté.
Dans la mesure où il n'établit pas, ou du moins pas suffisamment, que les constatations factuelles de la cour cantonale, selon lesquelles aucun élément de fait ne permet de retenir que la banque se serait engagée à libérer le recourant de ses obligations envers elle, seraient arbitraires, celles-ci lient la Cour de céans (cf. supra consid. 2.1).
3.
Invoquant une violation de l'art. 2 al. 1 CC, le recourant soutient que l'intimée l'a " libéré, par remise conventionnelle par de nombreux et répétés actes concluants, [...] de toutes ses obligations envers elle ".
3.1.
3.1.1. Aux termes de l'art. 2 al. 1 CC, chacun est tenu d'exercer ses droits et d'exécuter ses obligations selon les règles de la bonne foi. L'abus manifeste d'un droit n'est pas protégé par la loi (al. 2).
3.1.2. En procédure, le juge doit rechercher, dans un premier temps, la réelle et commune intention des parties (interprétation subjective), le cas échéant empiriquement, sur la base d'indices (<ref-ruling> consid. 5.2.2 et les arrêts cités). Constituent des indices en ce sens non seulement la teneur des déclarations de volonté - écrites ou orales -, mais encore le contexte général, soit toutes les circonstances permettant de découvrir la volonté réelle des parties, qu'il s'agisse de déclarations antérieures à la conclusion du contrat ou de faits postérieurs à celle-ci, en particulier le comportement ultérieur des parties établissant quelles étaient à l'époque les conceptions des contractants eux-mêmes.
L'appréciation de ces indices concrets par le juge, selon son expérience générale de la vie, relève du fait (<ref-ruling> consid. 5.2.2 et les arrêts cités). Si le juge parvient à la conclusion que les parties se sont comprises ou, au contraire, qu'elles ne se sont pas comprises, il s'agit de constatations de fait qui lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'elles ne soient manifestement inexactes (art. 97 al. 1 et 105 al. 2 LTF), c'est-à-dire arbitraires au sens de l'art. 9 Cst.
Si le juge ne parvient pas à déterminer la volonté réelle et commune des parties - parce que les preuves font défaut ou ne sont pas concluantes - ou s'il constate qu'une partie n'a pas compris la volonté exprimée par l'autre à l'époque de la conclusion du contrat - ce qui ne ressort pas déjà du simple fait qu'elle l'affirme en procédure, mais doit résulter de l'administration des preuves -, il doit recourir à l'interprétation normative (ou objective), à savoir rechercher leur volonté objective, en déterminant le sens que, d'après les règles de la bonne foi, chacune d'elles pouvait et devait raisonnablement prêter aux déclarations de volonté de l'autre. Il s'agit d'une interprétation selon le principe de la confiance (<ref-ruling> consid. 5.2.3 et les arrêts cités). D'après ce principe, la volonté interne de s'engager du déclarant n'est pas seule déterminante; une obligation à sa charge peut découler de son comportement, dont l'autre partie pouvait, de bonne foi, déduire une volonté de s'engager. Le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même si celui-ci ne correspond pas à sa volonté intime (<ref-ruling> consid. 5.2.3; <ref-ruling> consid. 3.2 et les arrêts cités).
La détermination de la volonté objective des parties, selon le principe de la confiance, est une question de droit, que le Tribunal fédéral examine librement. Pour la trancher, il faut cependant se fonder sur le contenu des manifestations de volonté et sur les circonstances, lesquelles relèvent du fait. Les circonstances déterminantes à cet égard sont uniquement celles qui ont précédé ou accompagné la manifestation de volonté, et non les événements postérieurs (<ref-ruling> consid. 5.2.3; <ref-ruling> consid. 2.2.1 et les arrêts cités).
3.2. En l'espèce, la cour cantonale a, en substance, retenu qu'on ne saurait déduire du courriel de F._ que la banque aurait pris l'engagement de libérer la caution no 1 de ses obligations, respectivement qu'elle l'aurait laissée penser que tel serait le cas, que rien, dans l'état de fait, ne permettait de retenir que la banque se serait engagée à libérer la caution no 1 de ses obligations envers elle et qu'il appartenait à la caution no 1, qui avait signé par deux fois des cautionnements solidaires devant notaire, de s'assurer d'être libérée de ses engagements avant de céder les actions de la société, ce qu'elle n'avait pas fait. La caution no 1 ne pouvait se contenter d'invoquer sa bonne foi - en ce sens qu'elle pensait être libérée de ses obligations envers la banque - pour tenir en échec les engagements qu'elle avait pris par acte authentique ainsi que l'absence de leur révocation.
3.3. Selon le recourant, sa bonne foi devrait être protégée, dans la mesure où (1) la banque a, sur demande de la caution no 2, établi de nouvelles offres de crédit sur lesquelles le recourant n'était plus mentionné comme caution, (2) il pouvait en déduire que la signature de ces offres n'était plus qu'une formalité, (3) la banque n'a alors jamais discuté de sa libération, ce qui laissait entendre à un destinataire de bonne foi qu'elle n'attendait aucune contrepartie de la part du recourant et qu'elle l'avait donc purement et simplement libéré, (4) F._ lui a répondu dans ce sens alors que la date d'échéance des nouvelles offres de crédit était déjà dépassée, un destinataire raisonnable devant donc comprendre de bonne foi que la banque ne faisait pas dépendre sa libération de la conclusion de ces nouveaux contrats, (5) la banque ne l'a pas impliqué dans les négociations relatives aux nouvelles offres de crédit, seule la caution no 2 ayant été convoquée notamment lorsque la banque demandait des informations sur la viabilité de la société et (6) la Banque E._ a accepté de le libérer de ses obligations envers elle et il pouvait donc raisonnablement penser qu'une autre banque cantonale agirait de la même manière dans une situation semblable.
Subsidiairement, il allègue que la banque aurait violé ses obligations en ne le convoquant pas à sa rencontre avec la caution no 2 et en ne l'ayant jamais averti en sa qualité de caution de l'état financier de la société, ce qui démontrerait, selon lui, qu'elle ne s'estimait plus liée à lui par un contrat de cautionnement.
3.4. À bien le comprendre, le recourant s'en prend en réalité à l'interprétation objective que la cour cantonale aurait effectuée.
Pour autant qu'il faille retenir que la cour cantonale n'ait pas déjà écarté la libération du recourant sur la base de l'interprétation subjective des parties, le grief du recourant devrait de toute façon être rejeté pour les raisons suivantes.
Le recourant ne pouvait, de bonne foi, déduire de la remise de nouvelles offres de crédit non signées dans lesquelles il n'apparaissait plus comme caution que ces documents seraient signés par la caution no 2 et, partant, qu'il serait libéré de ses obligations envers la banque. Il ne pouvait pas non plus inférer, du fait que la banque n'aurait jamais discuté de sa libération, de sa réponse après l'échéance des offres de crédit et de son absence aux négociations relatives auxdites offres, que la banque entendait le libérer par actes concluants. De plus, le recourant ne saurait fonder sa libération sur celle consentie par une autre banque cantonale.
La bonne foi du recourant paraît par ailleurs discutable du fait (1) qu'il a sollicité de la banque la confirmation de sa libération et qu'il n'a jamais reçu une telle confirmation, (2) qu'il recevait en copie les courriers de la banque relatifs aux dettes de la société et (3) qu'il a confirmé en audience qu'il n'avait pas été libéré de ses obligations par la banque, ce point pouvant toutefois souffrir de rester indécis.
Enfin, contrairement à ce qu'il affirme, le recourant a été convoqué par la banque en vue de la rencontre avec la caution no 2 et la banque au sujet des dettes de la société (cf. supra consid. A.e), de sorte qu'il ne saurait se prévaloir de la violation, par la banque, de ses obligations.
Dès lors, le recourant ne pourrait comprendre de bonne foi que la banque l'aurait libéré de ses obligations.
En outre, et pour autant que l'on puisse déduire des écritures du recourant qu'il se plaindrait également de la violation de son droit d'être entendu (art. 29 al. 2 Cst. et art. 53 CPC; cf. <ref-ruling> consid. 2.1; <ref-ruling> consid. 4.2) en ce que la cour cantonale aurait " essuyé d'un revers de main la question de sa libération ", ce grief doit également être rejeté, dans la mesure où la cour cantonale a, au consid. 5.3 de son arrêt - dont les principaux points ont été résumés ci-dessus (cf. supra consid. 3.2) -, dûment motivé les motifs pour lesquels elle a retenu que la banque ne l'avait pas libéré de ses obligations.
4.
Au vu de ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable.
Les frais judiciaires seront mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Dans la mesure où l'intimée et la partie intéressée n'ont pas été invitées à se déterminer, il ne leur sera pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et de C._ et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 juin 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Douzals