Citation: 4A_103/2021 E. A

A.a. A.________ (ci-après: la caution no 1 ou le recourant) et C.________ (ci-après: la caution no 2) étaient administrateurs de D.________ SA (ci-après: la société). A.b. Les 22 février et 18 octobre 2011, les deux administrateurs ont accepté, par acte notarié, de se porter cautions solidaires envers la Banque B.________ (ci-après: la banque, la demanderesse ou l'intimée), pour des montants totaux maximaux respectifs de 110'000 fr. et de 250'000 fr. Ces engagements servaient de garantie pour les crédits de 100'000 fr. et de 220'000 fr. souscrits par la société auprès de la banque. A.c. Suite à des différends relatifs à la gestion de la société, les deux administrateurs ont décidé de se séparer; ils sont convenus d'un transfert immédiat et gratuit des actions de la société appartenant au premier nommé (la caution no 1) en échange de sa libération préalable de toute obligation par la banque et par la Banque E.________ ainsi que de toute responsabilité par le second nommé (la caution no 2). Le 15 novembre 2013, la fiduciaire de la caution no 2 a informé la caution no 1 du fait qu'elle avait fait une demande correspondante à la banque et à la Banque E.________. Le 2 décembre 2013, elle lui a indiqué qu'un rendez-vous était prévu le lendemain avec la banque en vue de sa libération. Peu après, elle lui a communiqué plusieurs documents, dont les pages de garde, non signées, de deux offres de crédit de la banque datées du 26 novembre 2013 et prévoyant le cautionnement solidaire de la seule caution no 2 à concurrence de 110'000 fr. et de 250'000 fr. Le 9 décembre 2013, la Banque E.________ a informé la caution no 1 de sa libération. A.d. Les 11 et 19 décembre 2013, le conseil de la caution no 1 a demandé à la banque de lui confirmer la libération de son client. Le 30 décembre 2013, F.________, employée de la banque, lui a répondu qu'elle allait " voir pour [lui] faire une correspondance dans ce sens prochainement ". A.e. Le 28 janvier 2014, la banque a fait parvenir un courrier à la société dans lequel elle se référait à " [l']offre de crédit du 26 novembre 2013 restée sans réponse de [la] part [de la société] ". Selon un courrier du 4 mars 2015 de la banque, la caution no 2 et son conseil, le conseil de la caution no 1, excusée pour raison de santé, et la banque se sont réunis le 3 février 2014 en raison de dépassements dans les montants empruntés au titre de crédit par la société. Ce serait à cette occasion que la banque aurait pris acte du fait que la société avait cessé ses activités, sans toutefois pouvoir rembourser ses engagements envers elle. A.f. Entre le 27 octobre 2014 et le 27 janvier 2015, la banque a adressé à la société, à sa seule attention ou avec copie aux deux cautions, divers courriers relatifs aux engagements contractuels de la société que celle-ci ne respectait pas et aux montants dont celle-ci restait débitrice. Le 4 mars 2015, elle a résilié les prêts de la société avec effet immédiat et mis celle-ci en demeure de lui faire parvenir divers montants d'ici au 31 mars 2015. Ces montants n'ayant pas été versés, elle a, le 7 juillet 2015, mis en demeure les deux cautions de les lui faire parvenir. A.g. Le 6 janvier 2016, la société a été déclarée en faillite.