Faits : A. A.a. Les époux B.B._ et C.B._ étaient propriétaires d'un immeuble, qui a été divisé ultérieurement, sur la commune de X._, comprenant une habitation à plusieurs logements dans laquelle ils demeuraient, une dépendance, une grange et un garage privé. Dans un premier temps, en 1993, les époux ont chargé A._, architecte, qui était un de leurs amis, d'établir un projet de transformation de la grange en appartements. Ce projet a été abandonné pour des raisons conjoncturelles. A.b. En 1997, l'architecte a établi des plans de transformation de la grange et déposé une demande de permis de construire. Les parties étaient convenues que les honoraires de l'architecte lui seraient payés lors de la mise en valeur du bâtiment. L'autorisation de construire a été rejetée par décision du 15 mars 1999. L'architecte fait valoir que des honoraires de 43'000 fr. lui sont dus à ce titre, ce que les propriétaires contestent. A.c. En janvier 2006, les époux B._ ont demandé à A._ d'estimer la valeur de leur propriété dans le but de la vendre et lui ont confié le mandat de trouver un acquéreur. Se fondant sur ses propres notes, l'architecte fait valoir que les parties se sont réunies le 11 mars 2006 avec le dénommé C._, et qu'à cette occasion, les parties sont convenues qu'une commission de 3% lui serait versée, l'architecte devant s'arranger avec C._, aucune vente ne devant se faire par les propriétaires ou par des tiers. Ce point est contesté. L'architecte et C._ ont effectué quelques recherches en vue de trouver un acquéreur. Au mois d'août 2006, C.B._ a été approchée par un voisin, qui lui a proposé d'acheter la maison principale pour la fin de l'année et de signer une promesse d'achat-vente pour la grange, qu'il avait l'intention de rénover. Les époux B._ lui ont vendu directement la maison d'habitation et ont passé une promesse d'achat-vente pour la grange en décembre 2006. La grange et le garage ont été vendus en décembre 2008 en exécution de la promesse de vente et d'achat. L'architecte estime avoir droit à 71'000 fr. et 6'000 fr. à titre de commissions de courtage, ce que les propriétaires contestent. A.d. La vente de leur maison devant intervenir d'ici à la fin 2006, les propriétaires ont décidé d'habiter leur chalet situé sur une autre parcelle et ont chargé A._ d'y réaliser les travaux d'aménagement intérieurs. Un devis de 215'000 fr. a été établi. B.B._ est décédé le 28 février 2007. A.e. L'architecte allègue avoir eu un entretien le 19 avril 2007 au sujet d'un décompte du 17 avril précédent qu'il aurait envoyé à la propriétaire et qu'à cette occasion, les parties se seraient entendues sur un solde dû de 120'000 fr., ce qui est contesté. A._ a adressé à C.B._: - le 17 avril 2007, une facture de 86'247 fr., mais arrêtée à 43'000 fr., pour les honoraires d'architecte afférents à la demande d'autorisation pour transformer la grange en habitation, - le 8 mai 2007, une facture de 71'016 fr., arrêtée à 71'000 fr., à titre de commission de courtage pour la vente de l'habitation et de la dépendance, - toujours le 8 mai 2007, une facture de 6'456 fr., mais arrêtée à 6'000 fr., à titre de commission de courtage pour la vente de la grange et du garage. Le 1er juin 2007, C.B._ a versé la somme de 120'000 fr. à A._, en règlement de ces trois notes. A.f. Le 14 octobre 2010, la fiduciaire de C.B._ l'a informée que l'administration fiscale lui avait demandé des explications concernant ces factures, et notamment d'indiquer les raisons pour lesquelles des frais datant de 1998 n'avaient été facturés qu'en 2007 et pourquoi les commissions de courtage ne figuraient pas dans l'acte de vente. Elle lui a conseillé de réagir à ces factures. Le 11 février 2011, C.B._ a demandé à A._ le remboursement de la somme de 77'000 fr., objet des factures du 8 mai 2007, dans un délai à fin février 2011 et, à défaut d'exécution, également de celle de 43'000 fr. (facture du 17 avril 2007), faisant valoir que le permis de transformer avait été refusé et que le précité n'avait pas trouvé l'acquéreur qui avait acheté les immeubles. A._ ne s'est pas exécuté. B. Par requête de conciliation du 12 avril 2011 adressée à la Chambre patrimoniale du canton de Vaud, C.B._ et son fils D._ (demandeurs) ont ouvert action contre A._ (défendeur), réclamant paiement du montant de 120'000 fr. avec intérêts à 5% l'an dès le 1er juin 2007. Après échec de la tentative de conciliation et délivrance de l'autorisation de procéder, C.B._ et D._ ont déposé leur demande devant la Chambre patrimoniale le 5 juillet 2011, reprenant les conclusions de leur requête. Le défendeur a- conclu au déboutement des demandeurs. Par jugement du 8 mai 2013, la Chambre patrimoniale a condamné le défendeur à payer aux demandeurs, créanciers solidaires, la somme de 49'000 fr. avec intérêts à 5% l'an dès le 1er mars 2011. Statuant sur appels des deux parties par arrêt du 22 novembre 2013, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel du défendeur et, admettant l'appel des demandeurs, a condamné le défendeur à payer aux demandeurs le montant de 120'000 fr. avec intérêts à 5% l'an dès le 1er mars 2011. C. Contre cet arrêt, le défendeur exerce un recours en matière civile au Tribunal fédéral, concluant à sa réforme en ce sens que la demande est rejetée. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement. Il invoque l'appréciation arbitraire des preuves (art. 97 al. 1 LTF) et la violation des art. 2 et 8 CC, ainsi que des art. 11, 12, 62 ss et 394 ss CO. Les intimés proposent le rejet du recours. La requête d'effet suspensif du recourant a été rejetée par ordonnance présidentielle du 26 mai 2014.