Faits :
A.
A.a. Par testament du 24 février 1993 établi devant notaire, X._ (le disposant) a attribué l'usufruit sur tous ses biens à son épouse B.X._ et à son fils adoptif unique A.X._, l'usufruit de ce dernier étant postérieur à celui de son épouse. Le disposant instituait héritiers les descendants de A.X._; si, au décès du disposant, A.X._ n'avait pas de descendant, était instituée héritière une fondation hospitalière sise à.... Hors part et par substitution fidéicommissaire réduite au surplus, le disposant léguait à son épouse la part de copropriété pour une demie de leur immeuble situé à La Tour-de-Peilz et une somme de 500'000 fr., l'héritier appelé étant le ou les descendants de son fils et, à défaut, la fondation précitée. Au décès de son épouse, les biens restants de ce legs seraient grevés de l'usufruit en faveur de son fils jusqu'au décès de celui-ci, à titre de charge. Le disposant désignait en qualité d'exécuteur testamentaire l'expert-comptable Y._, qui est président du conseil d'administration de Z._, Société fiduciaire d'études et d'expertises comptables SA (ci-après: Z._ SA).
Le 20 décembre 1993, le disposant a modifié le testament précité. Après avoir rappelé que, par remise de dette du même jour, il libérait A.X._ d'une dette de 1'400'000 fr. plus intérêts contractée par celui-ci envers lui suite à la vente de 200 actions d'une société anonyme, le disposant dispensait son fils de tout rapport successoral pour cette remise de dette pour autant qu'il ne remette pas en cause le testament du 24 février 1993.
X._ est décédé le 28 juin 1994 à.... Sa succession, inventoriée à la valeur réelle de 15'532'311 fr.41, était composée d'actifs privés, notamment d'immeubles estimés à plus de 11'000'000 fr., et d'actifs commerciaux constitués d'une raison individuelle et de parts de trois sociétés en nom collectif (SNC) dont les associés exploitaient des établissements publics.
L'exécuteur testamentaire Y._ a mandaté Z._ SA et l'avocat-conseil H._ pour une partie des tâches liées à la gestion de la succession. Au sein de Z._ SA, le comptable W._, qui en est administrateur, a assuré ladite gestion. Il a été retenu que W._, plus proche collaborateur de A.X._ depuis plus de 30 ans, s'était occupé totalement des affaires du défunt à partir du début des années huitante.
L'exécuteur testamentaire a chargé le notaire I._ d'établir la liquidation du régime matrimonial des époux X._.
Le 13 janvier 1995, Y._ a transmis à la Justice de paix du cercle de la Tour-de-Peilz les inventaires au 28 juin 1994 des actifs et des dettes de B.X._, des actifs du de cujus ainsi que des dettes matrimoniales et frais funéraires usuels avec les pièces justificatives; ces documents ont été transmis à A.X._ le 17 janvier 1995.
En réponse à un courrier de A.X._ à propos de ces inventaires, l'avocat H._ lui a répondu le 25 janvier 1995 notamment que l'exécuteur testamentaire s'était conformé strictement aux exigences légales, que toutes les pièces justificatives dont la production était demandée se trouvaient au Greffe de la justice de paix et que l'exécuteur testamentaire établirait ses notes d'honoraires au fur et à mesure de son activité, en tenant compte de ceux dus aux tiers qui le conseillaient, au tarif recommandé par la Chambre des experts-comptables, aucun prélèvement de ce chef n'ayant été opéré à ce jour.
A.b. Se plaignant avec virulence que l'exécuteur testamentaire ne répondait pas à des questions essentielles à propos de l'état de la succession de son père, A.X._ a mandaté en décembre 1995 l'expert-comptable J._ pour examiner les comptes de ladite succession, lequel a déposé un rapport le 4 juin 1996 et une note explicative le 6 août 1996. Selon l'expert privé, certains reproches devaient être faits " en général " à l'exécuteur testamentaire Y._: les modes d'estimation utilisés par celui-ci pour les immeubles et les participations (valeur fiscale au lieu de la valeur vénale) modifiaient considérablement la valeur d'inventaire; certains actifs étaient qualifiés hâtivement de biens propres revenant à l'épouse du défunt; le fait de ne pas fixer une indemnité, ou du moins de ne pas délimiter les frais à rembourser à cette dernière et à des tiers, avait entraîné le remboursement de frais injustifiés. L'expert privé a encore relevé seize " points particuliers " qui avaient contribué à son sens à diminuer de façon notoire la part de A.X._ à la succession de son père.
Par décision du 8 juillet 1996, la justice de paix a nommé le notaire K._ en qualité d'administrateur officiel de la succession du défunt.
Le 18 novembre 1996, Y._ a adressé à la succession de X._ une facture de 114'100 fr., TVA et débours compris, pour les travaux exécutés en qualité d'exécuteur testamentaire de juillet 1995 à octobre 1996; d'après un décompte, Y._ et W._ avaient consacré 471 heures aux opérations en question, 49 heures ayant été dédiées à des activités de secrétariat.
Le même jour, Z._ SA a envoyé à la succession précitée deux factures de 43'200 fr. et 39'700 fr., TVA et débours inclus, pour les tâches de gestion afférentes à deux établissements publics.
Egalement le 18 novembre 1996, Z._ SA a adressé à B.X._ une facture de 6'200 fr., comprenant la TVA et les débours, pour des tâches réalisées à son profit entre mars 1995 et octobre 1996.
Aucune de ces notes n'a été réglée.
Il a été retenu que Y._ et Z._ SA ont dressé les comptes de la succession pour l'année 1996 et ont établi une balance des comptes au 31 janvier 1997; ils ont remis l'ensemble de ces documents à l'administrateur officiel le 13 février 1997.
A.c. Le 14 juin 1996, A.X._ a déposé plainte pénale contre sa mère, Y._, W._ et deux tiers, les tenant responsables d'une diminution injustifiée du patrimoine de la succession. A leur tour, Y._ et W._ ont déposé plainte pénale contre A.X._ pour dénonciation calomnieuse.
Tous les faits dénoncés ont abouti en 2000 et 2001 à la délivrance d'ordonnances de non-lieu, confirmées sur recours.
A.d. L'administrateur officiel K._ ayant invoqué, par pli du 4 décembre 1996 envoyé à la justice de paix, l'extrême difficulté à accomplir la tâche confiée, qui nécessitait des compétences qu'il n'était pas certain de posséder, ainsi que des problèmes de santé, cette autorité, sur sa proposition, a désigné, par décision du 14 mai 1997, en qualité d'administrateur officiel de la succession et en remplacement de K._, l'associé de ce dernier, soit le notaire L._.
Par courrier du 13 mars 1997, Y._ a informé le Président du Tribunal civil du district de Vevey qu'il avait décidé irrévocablement de se démettre de sa mission d'exécuteur testamentaire.
Par une nouvelle facture du 18 juin 1997, Y._ a réclamé à la succession de X._ la somme de 46'000 fr., TVA et débours compris, pour ses activités d'exécuteur testamentaire opérées entre novembre 1996 et mai 1997, représentant 186 heures, auxquelles s'ajoutaient 28,5 heures de secrétariat. Toutes les opérations ainsi facturées étaient postérieures à la nomination de K._ comme administrateur officiel.
Toujours le 18 juin 1997, Z._ SA a facturé à ladite succession 7'100 fr., TVA et débours inclus, pour les opérations de novembre 1996 à mai 1997 concernant un des établissements publics gérés en SNC.
Derechef, ces factures n'ont pas été acquittées.
A.e. B.X._ est décédée le 20 septembre 1997 à....
L'héritière instituée par feu X._ a répudié la succession par déclaration du 22 décembre 1997, de sorte que A.X._ est devenu l'unique héritier de ses parents.
A.f. Le 15 janvier 1998, Z._ SA a facturé à la succession de B.X._ un montant de 10'800 fr., TVA et débours compris, pour les travaux exécutés pour le compte de la précitée de novembre 1996 à décembre 1997. Cette note n'a pas été réglée.
Le 29 janvier 1998, l'avocat H._ a adressé à l'exécuteur testamentaire une note d'honoraires de 8'500 fr. Cette facture a été payée le 2 février 1998.
Le 30 janvier 1998, Y._ et Z._ SA ont établi, à l'intention de la succession de feu X._, des récapitulatifs des montants leur restant dus. Les sommes mentionnées dans ces récapitulatifs n'ont pas été payées.
Le 21 février 2002, Z._ SA a facturé à la succession de feu X._ un montant de 6'225 fr. pour les heures consacrées à celle-ci du 1er juin 1997 au décès le 20 septembre 1997 de B.X._. Cette note n'a pas été réglée.
B.
B.a. Par demande du 28 février 2002 déposée auprès de la Cour civile du Tribunal cantonal vaudois, Y._ et Z._ SA (demandeurs) ont conclu principalement à ce que A.X._ (défendeur) verse à Y._ un montant de 168'600 fr., plus intérêts à 5% l'an dès le 13 mars 1997, et à Z._ SA un montant de 113'225 fr., avec intérêts à 5% l'an dès le 18 novembre 1996 sur 89'100 fr., dès le 18 juin 1997 sur 7'100 fr., dès le 20 septembre 1997 sur 6'225 fr. et dès le 15 janvier 1998 sur 10'800 fr. Subsidiairement, les demandeurs ont conclu, avec solidarité entre eux, au versement par le défendeur de la somme de 281'825 fr. plus intérêts à 5% l'an à partir des dates et sur les sommes indiquées à titre principal ou, encore plus subsidiairement, du montant qui sera fixé en justice.
Par décision incidente du 28 août 2002, le Juge instructeur a admis la requête d'appel en cause du défendeur et l'a autorisé à appeler en cause W._.
Le défendeur a conclu au rejet de la demande; reconventionnellement, il a conclu à la condamnation des demandeurs et de l'appelé en cause à lui payer, solidairement ou chacun pour la part que justice dira, la somme de 1'624'240 fr. plus intérêts à 5% l'an dès le 1er janvier 1995.
L'appelé en cause W._ a conclu au rejet de la reconvention du défendeur, lui opposant une créance en tort moral en compensation de toutes ses prétendues créances.
Les demandeurs ont conclu au rejet des conclusions reconventionnelles du défendeur.
Par ordonnance sur preuves du 18 avril 2005, le juge instructeur a confié une expertise judiciaire à M._, expert-comptable diplômé, qui a déposé son rapport le 15 janvier 2007. A propos des notes d'honoraires des demandeurs, cet expert a retenu qu'elles reflétaient le temps passé sur les dossiers et que le tarif horaire correspondait aux normes tarifaires de la Chambre fiduciaire suisse en ce qui concernait le responsable du dossier; rappelant que certains travaux auraient pu être exécutés par des collaborateurs moins qualifiés, il a affirmé qu'il était dans l'impossibilité de se prononcer sur le temps nécessaire à l'exécution de chaque tâche réalisée dans le cadre de la succession. Au sujet de l'analyse de la gestion de l'exécuteur testamentaire, l'expert M._ a estimé que la complexité des dossiers et un contexte difficile (situation économique de la branche, maladie d'un gérant, travaux immobiliers) avaient engendré une diminution importante du patrimoine de la succession entre juin 1994 et décembre 1996 (perte de 529'110 fr. sur les actifs commerciaux, résultat déficitaire de 77'420 fr. pour les immeubles); sans répondre précisément à la question du dommage subi par le défendeur, l'expert a affirmé que l'exécuteur testamentaire avait payé trop facilement des frais et une rente à l'épouse du défunt, provoquant une réduction considérable et très rapide des liquidités; le temps mis pour établir l'inventaire de la succession (près de sept mois) avait en outre entraîné du retard dans la liquidation du régime matrimonial.
Une seconde expertise judiciaire a été confiée à N._, réviseur agréé et expert fiscal auprès de Fiduciaire O._. Cet expert a déposé son rapport le 23 avril 2010, puis un complément le 28 janvier 2013. Concernant l'analyse des notes d'honoraires, l'expert N._ a déclaré qu'il était tout à fait normal que l'exécuteur testamentaire ait délégué une partie des tâches à Z._ SA et qu'il avait été judicieux pour lui de s'adjoindre les services de l'avocat H._, dont la facture n'était pas exagérée; chaque intervenant avait noté le genre de travail accompli et le nombre d'heures consacrées à chaque client, enregistrées au niveau du quart d'heure sans être arrondies à une unité supérieure; compte tenu de l'ampleur de la succession, l'expert a considéré que le temps consacré à l'exécution du mandat était justifié et que les factures d'honoraires étaient fondées. A propos de l'analyse de la gestion de l'exécuteur testamentaire, l'expert a retenu qu'il était faux de reprocher aux demandeurs d'avoir géré les biens de la succession de manière catastrophique; l'exécuteur testamentaire ne pouvait pas être tenu responsable des pertes subies par les SNC; le rapport de l'expert privé J._, qui contenait du reste des erreurs et inexactitudes, ne démontrait pas que la succession avait été mal gérée par l'exécuteur testamentaire; la ponction de 1'445'000 fr. effectuée sur les liquidités de la succession correspondait aux prélèvement justifiés de B.X._ et aux factures payées par la succession, si bien qu'elle avait été utilisée uniquement pour des opérations entrant dans le cadre de la gestion de la succession, cela dans les limites des pouvoirs de l'exécuteur testamentaire, lequel n'avait pas géré les actifs de la succession au préjudice des héritiers.
Par jugement du 3 décembre 2014, dont les considérants ont été communiqués le 1er décembre 2015, la Cour civile a condamné le défendeur à payer au demandeur Y._ la somme de 242'501 fr.20 avec intérêts à 5% l'an dès le 2 mars 2002 et à la demanderesse Z._ SA la somme de 30'053 fr.80 avec intérêts à 5% l'an dès la même date.
B.b. Saisie d'un appel du défendeur, qui ne reprenait que ses conclusions libératoires, la Cour d'appel civile du Tribunal cantonal vaudois, par arrêt du 3 mai 2016, l'a rejeté dans la mesure de sa recevabilité et a confirmé le jugement attaqué.
C.
A.X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt cantonal en ce sens que les conclusions des demandeurs sont entièrement rejetées; subsidiairement, il requiert l'annulation de l'arrêt entrepris, la cause étant retournée à la cour cantonale pour nouvelle décision dans le sens des considérants.
L'appelé en cause fait valoir, par simple lettre, qu'il n'est plus intéressé par l'instance fédérale, l'arrêt cantonal étant devenu définitif et exécutoire en ce qui le concerne. Par lettre adressée au Tribunal fédéral, le recourant a confirmé que l'appelé en cause n'est pas concerné par son recours en matière civile.
Les intimés, par lettre d'une page et demie, proposent le rejet du recours en tant qu'il est recevable.
Par ordonnance présidentielle du 22 novembre 2016, la demande d'effet suspensif du recourant a été rejetée.

Considérant en droit :
1.
1.1. Interjeté en temps utile (art. 100 al. 1 LTF) par le défendeur qui a succombé dans ses conclusions libératoires (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) prise sur recours par le tribunal supérieur du canton (art. 75 LTF) dans une contestation civile dont la valeur litigieuse est supérieure à 30'000 fr. (art. 72 al. 1 et 74 al. 1 let. b LTF), le recours en matière civile est recevable au regard de ces dispositions.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références). Le Tribunal fédéral ne peut rectifier les constatations de l'autorité précédente que si elles sont manifestement inexactes, c'est-à-dire arbitraires (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18).
1.3. Saisi d'un recours en matière civile, le Tribunal fédéral applique d'office le droit (art. 106 al. 1 LTF) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié après examen des griefs du recours; art. 105 al. 1-2 et 97 al. 1 LTF). Il n'est toutefois pas lié par l'argumentation juridique développée par les parties ou par l'autorité précédente; il peut admettre le recours, comme il peut le rejeter en procédant à une substitution de motifs (ATF <ref-ruling> consid. 1.4).
1.4. L'arrêt attaqué a constaté, au considérant 1.3, que le défendeur n'a pas contesté en appel le rejet par la Cour civile des conclusions qu'il avait formulées à l'encontre de l'appelé en cause W._ et que le jugement de cette autorité est entré en force sur ce point.
L'arrêt attaqué a ainsi mis définitivement hors de cause l'appelé W._, qui n'est plus concerné par le présent procès, ce qu'il convient de constater expressément.
2.
Dans l'arrêt déféré, la cour cantonale a retenu, à l'instar des premiers juges, qu'il convient de suivre le rapport clair du second expert judiciaire N._ et son complément. Cet expert a examiné les neuf factures produites par les demandeurs à l'appui de leurs prétentions. Sur la facture du 18 novembre 1996 de 114'100 fr., 101'591 fr.60 sont dus à l'exécuteur testamentaire demandeur et 12'508 fr.40 à la demanderesse Z._ SA. Sur celle du 18 juin 1997 de 46'000 fr., la somme de 42'409 fr.60 revient au demandeur et le solde de 3'590 fr.40 à la demanderesse. Les notes du 18 novembre 1996, par 43'200 fr., du 18 juin 1997, par 7'100 fr., et du 18 novembre 1996, par 39'700 fr., sont entièrement dues au demandeur. Sur la facture du 15 janvier 1998 de 10'800 fr., seul le montant de 7'755 fr. revient à la demanderesse, le solde se rapportant à des opérations, non facturables au défendeur, opérées pour le compte de B.X._. La facture du 18 novembre 1996, par 6'200 fr., est due en son entier à la demanderesse. Pour ce qui a trait à la facture du 21 février 2002, de 6'225 fr., qui se rapporte à des prestations fournies après mai 1997, ni le demandeur ni la demanderesse ne sont fondés à en réclamer paiement, car aucun accord, même tacite, n'a été donné par l'administrateur officiel pour l'exécution de prestations postérieures au mois de mai 1997. S'agissant enfin de la facture du 29 janvier 1998 de l'avocat H._, de 8'500 fr., dont l'intervention était nécessaire, elle a été acquittée par le demandeur, qui a ainsi droit à son remboursement. La cour cantonale, adoptant le raisonnement de la Cour civile, a jugé que le demandeur a donc droit à 242'501 fr.20 (101'591 fr.60 + 42'409 fr.60 + 43'200 fr. + 7'100 fr. + 39'700 fr. + 8'500 fr.) et la demanderesse à 30'053 fr.80 (12'508 fr.40 + 3'590 fr.40 + 7'755 fr. + 6'200 fr.). Pour ce qui est des prestations effectuées par l'exécuteur testamentaire après le 8 juillet 1996, date où la justice de paix a nommé le notaire K._ administrateur officiel, la Cour d'appel a considéré que ce dernier a donné son accord tacite à ce que les demandeurs poursuivent postérieurement à cette date des actes de gestion de la succession, lesquels ont été ratifiés par l'administrateur officiel, ce qui a eu pour effet de rendre applicables les règles du mandat (art. 394 ss CO), et non celles sur la gestion d'affaires sans mandat (art. 419 ss CO). Pour finir, la cour cantonale a jugé qu'aucun manquement ne peut être reproché aux demandeurs, dont les honoraires ne sauraient être réduits.
3.
Le disposant peut, par une disposition pour cause de mort, charger un exécuteur testamentaire d'exécuter ses dernières volontés (art. 517 al. 1 CC). En principe, l'exécuteur testamentaire a les droits et les devoirs de l'administrateur officiel d'une succession (art. 518 al. 1 CC), mais le de cujus peut étendre les pouvoirs de l'exécuteur testamentaire ou, au contraire, les limiter à certains aspects de la liquidation de la succession, à certains biens ou à une certaine durée (<ref-ruling> consid. 4.3.1 p. 11 et les références doctrinales) L'exécuteur testamentaire est responsable de la bonne et fidèle exécution des tâches qui lui sont confiées; cette responsabilité à l'égard des héritiers s'apprécie comme celle d'un mandataire, auquel on l'assimile (art. 398 al. 2 CO; <ref-ruling> consid. 4.1 et 4.3; <ref-ruling> consid. 2).
Le défendeur et recourant ne remet plus en cause que le demandeur est en principe fondé à lui réclamer des honoraires de mandataire pour les prestations d'exécuteur testamentaire qu'il a effectuées personnellement au profit du premier et que la demanderesse a de même en principe droit à des honoraires de mandataire pour les prestations qu'elle a fournies en faveur de B.X._, du vivant de celle-ci et avec son accord.
Le recourant s'efforce cependant d'établir que tant le demandeur que la demanderesse ont violé leur devoir de diligence de mandataires en ayant géré de manière déficiente la succession de feu X._, de sorte qu'ils ont perdu leur droit à des honoraires, voire qu'ils n'ont droit qu'à des honoraires réduits.
Pour ce faire, il invoque essentiellement, à deux égards, l'arbitraire dans l'établissement des faits (art. 9 Cst.).
4.
4.1. Pour ce qui concerne les opérations effectuées par les demandeurs avant le 8 juillet 1996, le recourant, si on le comprend bien, fait grief à la cour cantonale d'avoir constaté arbitrairement les faits en retenant les seules conclusions du second expert judiciaire N._. Il fait valoir que la cour cantonale n'aurait rien dit de ce qu'elle a retenu des expertises judiciaires. Il concède toutefois que cette juridiction a finalement retenu les conclusions du second expert, qu'il qualifie de sommaires et très générales. Il affirme que cet expert n'a pas répondu à toutes les questions qui lui étaient posées, à l'exemple de la question 12 contenue dans le complément du 28 janvier 2013. Il reproche à la cour cantonale d'avoir cité brièvement les avis des deux experts judiciaires sans même " mettre le nez dans le dossier ".
Au sujet des opérations réalisées par l'exécuteur testamentaire après le 8 juillet 1996, il soutient qu'aucune des preuves administrées ne permettrait d'admettre un accord tacite entre l'administrateur officiel et l'exécuteur testamentaire pour que ce dernier accomplisse des tâches de gestion de la succession après la fin de son mandat en juillet 1996 jusqu'au mois de mai 1997.
4.2. Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et reconnu, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que dans la mesure où celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du fait qu'une autre solution pourrait entrer en considération ou serait même préférable (<ref-ruling> consid.2.1 p. 18 s.; <ref-ruling> consid. 6.1 p. 379 s.).
De jurisprudence constante, le Tribunal fédéral se montre réservé en matière de constatation des faits et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en la matière aux autorités cantonales (<ref-ruling> consid. 4b p. 40; <ref-ruling> consid. 9 p. 399 et les arrêts cités). Dans ce domaine, l'autorité verse dans l'arbitraire lorsqu'elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsqu'elle tire des conclusions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.3 p. 265; <ref-ruling> consid. 4.2 p. 234).
Concernant plus particulièrement l'appréciation du résultat d'une expertise, lorsque l'autorité cantonale juge une expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. 4.2.3 p. 391; <ref-ruling> consid. 4.4.1 p. 269).
Si l'autorité cantonale est confrontée à plusieurs expertises judiciaires et qu'elle se rallie aux conclusions de l'une d'elles, elle est tenue de motiver son choix. Dans un tel cas, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si cette motivation est insoutenable ou si le résultat de l'expertise qui a eu la préférence de l'autorité cantonale est arbitraire pour l'un des motifs sus-indiqués (cf. arrêts 4A_151/2015 du 11 septembre 2015 consid. 3.2.1; 4A_577/2008 du 31 mars 2009 consid. 5.1).
4.3.
4.3.1. Il sied d'emblée de rappeler au recourant qu'une expertise privée établie pour l'une ou l'autre des parties, à l'instar de celle qu'il a confiée à l'expert-comptable J._, ne constitue pas un moyen de preuve dans un éventuel procès, mais n'a que la valeur d'une simple allégation de la partie qui la produit en cause (<ref-ruling> consid. 2.3 p. 435 et les arrêts cités).
En présence d'avis contradictoires sur des questions dont la résolution exigeait des connaissances spéciales, l'autorité cantonale devait nécessairement opérer un choix entre les opinions exprimées par les deux experts judiciaires commis en cours de procès.
Au considérant 3.3.2 de l'arrêt attaqué, aux pages 35 à 37, la cour cantonale a relaté soigneusement les raisons pour lesquelles elle a privilégié les conclusions de l'expert judiciaire N._. A l'instar des premiers juges, elle a mis en exergue le caractère précis et détaillé du rapport d'expertise du prénommé, alors que celui du premier expert judiciaire M._ prenait appui sur l'expertise privée sans expliquer son raisonnement et sans examiner de manière détaillée les nombreux problèmes qu'a rencontrés l'exécuteur testamentaire dans sa mission. En outre l'expert N._ a lui-même expliqué clairement pourquoi il convenait de se distancer tant de l'expertise privée que de l'expertise judiciaire M._.
On cherche vainement en quoi ce raisonnement de l'autorité cantonale serait arbitraire.
Il est téméraire de prétendre que la cour cantonale n'a cité que brièvement les expertises judiciaires, alors qu'elle a résumé le rapport d'expertise du premier expert sous le chiffre 25, aux pages 21 à 24 de son arrêt, et celui du second expert sous le chiffre 26, aux pages 24 à 31 du même arrêt.
Pour le reste, le recourant ne parvient pas à démontrer que le résultat de l'expertise N._ serait arbitraire. Il ne fait ainsi état d'aucun défaut manifeste qui entacherait ce rapport d'expertise et que les juges cantonaux n'auraient pu ignorer (cf. sur le caractère complet que doit revêtir un rapport d'expertise, GRÉGORY BOVEY, Le juge face à l'expert, in La preuve en droit de la responsabilité civile, Genève 2011, p. 110-111).
Quoi qu'en dise le recourant, le rapport d'expertise judiciaire du 23 avril 2010 et le complément du 28 janvier 2013 sont complets.
Ainsi, le rapport d'expertise principal comporte 33 pages et plusieurs tableaux précis. L'expert judiciaire y a répondu à toutes les questions qui lui étaient posées en se référant aux allégués de la procédure.
Le rapport complémentaire contient pour sa part 15 pages, auquel sont jointes plus de 200 pages d'annexe. L'expert a répondu à la question 12 en se référant à une correspondance de l'administrateur officiel K._ du 4 décembre 1996. De toute manière, comme on l'a vu plus haut, la cour cantonale n'a pas à vérifier si toutes les opinions de l'expert sont soutenables, mais si l'autorité cantonale pouvait suivre globalement les conclusions de l'expert judiciaire sans tomber dans l'arbitraire.
Le recourant ne montre pas que les rapports (principal et complémentaire) de l'expert N._ seraient contradictoires, à telle enseigne qu'ils ne permettraient pas de connaître les bases de son raisonnement.
Enfin, les rapports d'expertise N._ sont convaincants, en ce sens que les conclusions présentées sont les résultantes des investigations de cet expert.
4.3.2. Pour les actes de gestion des demandeurs effectués entre juillet 1996 et mai 1997, la cour cantonale, aux considérants 4.1 à 4.3 de l'arrêt cantonal, a retenu, en adoptant derechef l'opinion de la Cour civile, que l'administrateur officiel K._ n'a pas réagi lorsque les demandeurs lui ont envoyé leurs premières factures datées du 18 novembre 1996, pas plus qu'à la réception de la comptabilité de la succession pour l'année 1996 et de la balance des comptes au 31 janvier 1997. De cette absence de réaction du notaire K._ au reçu de tous ces documents, la Cour d'appel a déduit un accord tacite (art. 1 al. 2 CO) à ce que les demandeurs poursuivent la gestion de la succession jusqu'en mai 1997, époque où le notaire L._ a remplacé le notaire K._ comme administrateur officiel de la succession.
Le recourant ne prétend même pas qu'ont été constatées arbitrairement les circonstances relatées ci-dessus, qui ont permis à la cour cantonale de retenir l'existence dudit accord tacite entre les demandeurs et l'administrateur officiel.
Le moyen est irrecevable (art. 106 al. 2 LTF).
5.
5.1. Le recourant invoque confusément un déni de justice formel, sous la forme d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il affirme que la Cour d'appel n'a pas examiné ses griefs selon lesquels de nombreuses dépenses de l'exécuteur testamentaire auraient été effectuées en violation de ses obligations de mandataire diligent et que ce dernier n'a pas pris de mesures d'assainissement à l'égard des établissements publics non rentables appartenant à la succession.
5.2. Le droit d'être entendu comprend notamment le droit pour le justiciable de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles, d'en prendre connaissance et de se déterminer à leurs propos (<ref-ruling> consid. 2.2 p. 504/505; <ref-ruling> consid. 2c p. 578 s.).
Le droit d'être entendu porte avant tout sur les questions de fait. Les parties doivent, le cas échéant, également être entendues sur les questions de droit lorsque l'autorité concernée entend se fonder sur des normes légales dont la prise en compte ne pouvait pas être raisonnablement prévue, et lorsque la situation juridique a changé (<ref-ruling> consid. 5 p. 39; arrêt 4A_214/2013 du 5 août 2013 consid. 4.1).
5.3. Le recourant ne prétend pas que la cour cantonale n'a pas donné suite à ses offres de preuves pertinentes, qu'il aurait proposées régulièrement et en temps utile selon le droit de procédure applicable. Les critiques appellatoires du recourant ne relèvent en rien du droit d'être entendu.
Le moyen est irrecevable (art. 106 al. 2 LTF).
6.
En définitive, le recours doit être rejeté en tant qu'il est recevable.
Le recourant, qui succombe, paiera les frais judiciaires et versera aux intimés, créanciers solidaires, une indemnité à titre de dépens (art. 66 al. 1, 68 al. 1 et 2 LTF), qui tient compte du travail nécessité par la réponse.
L'appelé en cause, qui a été mis hors de cause par l'arrêt attaqué, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 6'500 fr., sont mis à la charge du recourant.
3.
Le recourant versera aux intimés, créanciers solidaires, une indemnité de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties, à l'appelé en cause et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 24 mai 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Ramelet