Faits :
A.
Feu F.Y._ et G.Y._, agriculteurs, ont eu trois enfants, dont une fille, B.Y._, et un fils, H.Y._. Ce dernier a succédé à ses parents à la tête du domaine de vingt-quatre hectares de terrains agricoles et de plusieurs bâtiments d'habitation et d'exploitation, réparti en cinq parcelles n os 1, 2, 3, 4 et 5 de la commune de U._.
A.a. H.Y._ est décédé le 30 septembre 1995, laissant pour héritiers, son épouse, C.Y._ et ses deux enfants, D.Y._ et E.Y._, qui ont tous trois été inscrits, le 5 août 1996, en qualité de propriétaires en main commune des immeubles n os 1, 2, 3, 4 et 5 de la commune de U._.
Aucun des héritiers n'étant en mesure de l'exploiter personnellement, le 20 avril 1996, les hoirs de feu H.Y._ ont remis en affermage le domaine agricole de vingt-quatre hectares dépendant de la succession de feu H.Y._ à A.X._ - l'un des deux fils de B.Y._, la soeur du défunt -, pour une durée de douze ans, se terminant le 31 décembre 2007, contre un loyer annuel de 30'000 fr. A.X._ a aussi racheté le chédail et le capital fermier.
A.b. Selon le rapport d'expertise judiciaire déposé le 13 septembre 2010 et le complément de rapport du 29 mars 2011, le bâtiment d'habitation - dont deux appartements sont habités respectivement par C.Y._ et E.Y._ -, le rural attenant et le garage situés sur la parcelle n° 1, sont des immeubles sans vocation agricole, à exclure d'un domaine agricole cohérent, qui devraient pouvoir en être détachés avec une nouvelle parcelle d'environ 2'300 m 2. Les experts indiquent en revanche que tous les autres bâtiments sont utiles et rattachés au domaine agricole, leur ensemble constituant un corps de ferme groupé.
A.c. Le bail à ferme agricole de A.X._ a été prolongé pour une durée de six ans, à savoir jusqu'au 31 décembre 2016, par jugement du 15 août 2008 du Président du Tribunal d'arrondissement de la Broye et du Nord vaudois.
B.
Par demande du 1 er mai 2009, remplaçant une demande antérieure du 26 octobre 2007 contenant déjà des conclusions en exercice d'un droit d'emption, A.X._ a conclu notamment à ce que les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, propriété de la communauté héréditaire de feu H.Y._, à savoir C.Y._, D.Y._ et E.Y._, lui soient transférées moyennant paiement de sa part d'un montant fixé à dire d'expert et à ce que le Conservateur du Registre foncier de l'arrondissement du Jura - Nord vaudois soit invité à procéder aux inscriptions nécessaires aux transferts immobiliers ordonnés. A.X._ a complété ses conclusions le 22 mars 2012, précisant qu'une surface de l'ordre de 2'300 m 2 sur la parcelle n° 1 resterait propriété des défendeurs, et que le montant dû par lui-même est de 409'396 fr., correspondant à la valeur de rendement du domaine agricole.
B.a. Par jugement du 1 er mai 2013, la Présidente du Tribunal civil de l'arrondissement de la Broye et du Nord vaudois a notamment rejeté, dans la mesure de leur recevabilité, les conclusions du demandeur tendant au transfert des parcelles n os 1, 2, 3, 4 et 5 de la commune de U._ et à la réquisition des inscriptions nécessaires au Registre foncier.
B.b. Par arrêt du 30 septembre 2013, communiqué aux parties le 10 mars 2014, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par A.X._ le 30 mai 2013, confirmé le jugement attaqué et condamné l'appelant à verser aux intimés, solidairement entre eux, la somme de 4'000 fr., à titre de dépens de deuxième instance.
C.
Par acte du 10 avril 2014, A.X._ exerce un recours en matière civile au Tribunal fédéral. Reprenant ses conclusions prises en appel, il conclut à ce que les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, propriété de la communauté héréditaire de feu H.Y._, lui soient transférées, étant précisé qu'une surface de l'ordre de 2'300 m 2 sur la parcelle n° 1 et les bâtiments qui s'y trouvent, restent propriété des intimés, étant en outre précisé que le montant dû par lui-même est de 409'396 fr., et à ce que le Conservateur du Registre foncier soit invité à procéder aux inscriptions nécessaires aux transferts immobiliers, le dispositif du jugement étant maintenu pour le surplus. Au préalable, le recourant sollicite l'octroi de l'effet suspensif à son recours, en ce qui concerne le versement de dépens aux intimés, ordonné par l'arrêt entrepris, et requiert par voie de mesures provisionnelles, à ce qu'interdiction soit faite aux intimés d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, jusqu'à droit connu sur le recours.
Le 11 avril 2014, le Président de la IIe Cour de droit civil du Tribunal fédéral a, à titre superprovisoire, interdit à C.Y._, D.Y._ et E.Y._ d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._ en l'état.
Invités à se déterminer sur la requête d'effet suspensif, les intimés et l'autorité précédente s'en sont remis à justice.
D.
Par ordonnance du 9 mai 2014, le Président de la IIe Cour de droit civile du Tribunal fédéral a rejeté la requête d'effet suspensif et admis la demande de mesures provisionnelles, en ce sens qu'interdiction a été faite à C.Y._, D.Y._ et E.Y._ d'aliéner les parcelles n os 1, 2, 3, 4 et 5 de la commune de U._, jusqu'à droit connu sur le fond du recours.
Des réponses au fond n'ont pas été requises.

Considérant en droit :
1.
Le présent recours a été déposé en temps utile (art. 46 al. 1 ch. 3 et 100 al. 1 LTF) ainsi que dans la forme légale (art. 42 LTF), contre une décision finale (art. 90 LTF), rendue en matière civile (art. 72 al. 1 LTF), sur recours, par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), par la partie qui a succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF). Comme le litige porte sur l'exercice d'un droit d'emption sur une exploitation agricole, dans le cadre d'une succession, le recours a pour objet une affaire pécuniaire, dont la valeur litigieuse atteint manifestement le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF). Le présent recours en matière civile est en principe recevable au regard des dispositions qui précèdent.
2.
Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 3 p. 415; <ref-ruling> consid. 1.4 p. 400). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104 s.). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2 p. 89; <ref-ruling> consid. 3.3 p. 60).
3.
Le recours a pour objet uniquement le délai dans lequel le neveu du défunt pouvait exercer un droit d'emption légal, au sens des art. 25 ss de la loi fédérale sur le droit foncier rural du 4 octobre 1991 (RS 211.412.11; ci-après : LDFR) pour acquérir l'entreprise agricole comprise dans la succession.
3.1. Concernant le délai d'exercice du droit d'emption, la Cour d'appel civile a constaté que ce droit peut être exercé aux conditions et modalités applicables au droit de préemption, le renvoi de l'art. 27 LDFR englobant notamment la question de la péremption. Elle a ainsi retenu que le droit d'emption se périme dans un délai de trois mois, qui court dès la connaissance des conditions d'exercice de ce droit (art. 681a al. 2 CC), ce qui ne peut être le cas que lorsque les héritiers entrant en ligne de compte pour l'attribution de l'entreprise agricole se sont prononcés à cet égard. La cour cantonale a estimé que le délai relatif de trois mois - seul entrant en ligne de compte dans le cadre d'une succession non partagée - courait dès la connaissance subjective des conditions de l'existence légale du droit par l'empteur. La Cour d'appel civile a retenu qu'il est constant depuis l'ouverture de la succession que les héritiers n'ont ni la capacité, ni la volonté d'exploiter eux-mêmes l'entreprise agricole, et que ceux-ci ont affermé le domaine au recourant depuis 1996, de sorte que jusqu'à l'exercice du prétendu droit d'emption en 2007, pendant plus de dix ans, le recourant ne pouvait de bonne foi considérer que les hoirs ne s'étaient pas prononcés sur la reprise de l'entreprise agricole. La Cour d'appel civile a donc jugé que le droit d'emption du recourant était périmé, car exercé bien postérieurement au délai de péremption de trois mois.
3.2. Le recourant reproche à la Cour d'appel civile d'avoir considéré que l'écoulement du temps - comme c'est le cas pour le droit de préemption - avait une incidence sur le droit d'emption des parents (art. 26 et 27 LDFR). Le recourant estime que le législateur a voulu autoriser l'exercice du droit d'emption tant que le partage successoral n'a pas été réalisé et considère que le fait de ne pas exiger un exercice précoce du droit d'emption permet d'éviter de porter une atteinte trop importante aux droits des héritiers. Le recourant conteste que le droit d'emption des parents puisse être assimilé à un droit de préemption, quand bien même la loi renvoie, pour " certaines modalités ", aux règles sur le droit de préemption. Il critique le raisonnement de la cour cantonale qui a appliqué au droit d'emption la règle du délai de trois mois, relevant que s'il fallait l'appliquer, il s'avérerait presque impossible de préciser le début du délai de trois mois, notamment parce que le jour où " les héritiers entrant en ligne de compte pour l'attribution de l'entreprise se sont prononcés " requiert une précision quant à la nature de cette déclaration. Se référant au résumé de l'<ref-ruling> et au Message du Conseil fédéral (FF 1988 III 889), il soutient qu'il n'existe pas de délai légal pour l'exercice des droits d'emption. Le recourant expose enfin qu'il exploite personnellement l'entreprise agricole litigieuse depuis le décès de son oncle, qu'il n'a pas été invité par les héritiers à se déterminer sur un potentiel exercice de son droit d'emption et qu'il n'a pas exercé son droit d'emption plus tôt, laissant la possibilité à ses cousins d'acquérir une formation agricole tant que la succession n'était pas partagée.
3.3. Les art. 25 à 27 LDFR régissent le droit d'emption des parents. Compte tenu du renvoi de l'art. 27 al. 1 LDFR, qui soumet l'exercice du droit d'emption des entreprises agricoles aux conditions et modalités applicables au droit de préemption, le droit d'emption légal des art. 25 à 27 LDFR est conçu comme un droit de préemption pour lequel le cas de préemption est le décès du propriétaire de l'entreprise agricole ( MICHEL MOOSER, Le droit d'emption des parents selon les art. 25 à 27 LDFR, Une empreinte sur le Code civil, Mélanges en l'honneur de Paul-Henri Steinauer, Berne, 2013, p. 406). Ce renvoi comprend les règles de procédure applicables au droit de préemption, notamment la question du délai d'exercice du droit d'emption, à savoir de la péremption (Message du Conseil fédéral à l'appui des projets de loi fédérale sur le droit foncier rural (LDFR) et de loi fédérale sur la révision partielle du code civil (droits réels immobiliers) et du code des obligations (vente d'immeubles) du 19 octobre 1988, FF 1988 III 889, ad art. 28 du projet de LDFR, p. 944; BENNO STUDER, Le droit foncier rural, Commentaire de la loi fédérale sur le droit foncier rural du 4 octobre 1991, 2 ème éd., Brugg, 1998, n° 2 ad art. 27 LDFR, p. 349; BENNO STUDER, Das bäuerliche Bodenrecht, Kommentar zum Bundesgesetz über das bäuerliche Bodenrecht vom 4. Oktober 1991, 2 ème éd., Brugg, 2011, n os 1 et 2 ad art. 27 LDFR p. 493; MOOSER, op. cit., p. 414 s.). A teneur de l'art. 681a al. 2 CC, qui s'applique par renvoi (Message, p. 944), le droit d'emption se périme dans un délai relatif de trois mois et dans un délai absolu de deux ans après l'inscription du nouveau propriétaire au Registre foncier ( MOOSER, op. cit., p. 415 ab initio; Sandra Dosios Probst, La loi sur le droit foncier rural : objet et conditions du droit à l'attribution dans une succession ab intestat, thèse, Zürich, 2002, n° 384 p. 196; BRUNO BEELER, Bäuerlisches Erbrecht gemäss dem Bundesgesetz über das bäuerliche Bodenrecht (BGBB) vom 4. Oktober 1991, thèse, Zürich, 1998, p. 451 et 452). Le dies a quo du délai relatif de trois mois est un point de départ subjectif, à savoir le moment où le titulaire du droit d'emption a eu connaissance de sa prétention ( MOOSER, op. cit., p. 415), ce qui ne peut être le cas qu'au moment où les héritiers entrant en ligne de compte pour l'attribution de l'entreprise se sont prononcés à cet égard (Message, p. 944; STUDER, Le droit foncier rural, n° 2 ad art. 27 LDRF, p. 349). Le potentiel empteur doit donc informer les héritiers qu'il entend faire usage de son droit et ceux-ci, une fois majeurs s'ils ne l'étaient pas, doivent se déterminer à ce sujet, éventuellement dans un délai fixé par le titulaire du droit d'emption (Message, p. 944; BEELER, op. cit., p. 452). Le délai de trois mois commence à courir le jour où tous les héritiers ont communiqué leur position ( MOOSER, op. cit., p. 415 s.). Quand au point de départ du délai absolu de deux ans, compte tenu de l'inscription purement déclarative de l'inscription des héritiers comme nouveaux propriétaires au Registre foncier, certains auteurs considèrent qu'il faut admettre que le délai absolu commence à courir dès le décès du propriétaire de l'entreprise agricole ( MOOSER, op. cit., p. 415 s.; Dosios Probst, op. cit., n° 384 p. 196; Beeler, op. cit., p. 453).
3.4. En l'occurrence, contrairement à ce que soutient le recourant sur la base de son interprétation du Message du Conseil fédéral, le droit d'emption des parents, au sens des art. 25 à 27 LDFR, est soumis, selon le législateur, la jurisprudence et la doctrine unanimes, aux règles du droit de préemption légal (art. 681 ss CC), singulièrement en ce qui concerne le délai de péremption de l'exercice de ce droit (art. 681a al. 2 CC; cf. supra consid. 3.3). A cet égard, l'arrêt auquel se réfère le recourant (<ref-ruling>) traite d'un droit d'emption conventionnel concédé pour une durée illimitée par pacte conclu avant l'entrée en vigueur de l'art. 216a CO fixant une limite temporelle à l'exercice de cette prérogative, alors que le présent cas litigieux concerne un droit d'emption légal, soumis de par la loi aux conditions et modalités du droit de préemption légal. Pour justifier l'absence de délai d'exercice du droit d'emption, le recourant se réfère ainsi à une jurisprudence réglant un problème différent de l'objet du présent recours, en sorte que cette jurisprudence ne peut pas trouver application en l'espèce. Le recourant se méprend aussi lorsqu'il indique que l'absence de délai pour l'exercice du droit d'emption permet d'éviter de porter une atteinte trop importante aux droits des héritiers par un exercice précoce de ce droit et qu'il n'a pas été interpellé par ceux-ci sur la possibilité de faire valoir son droit d'emption ( cf. supra consid. 3.2). Il appartient en effet au titulaire de la prérogative et non aux héritiers de requérir de ceux-ci qu'ils prennent position sur leur volonté et capacité à reprendre le domaine agricole (consid. 3.3 ci-dessus) - de cette manière le système légal ne prive pas les héritiers de leur droit d'acquérir le domaine agricole -, ce que le recourant n'a en l'espèce pas fait. Le point de savoir si, dans le cas d'espèce, le délai de trois mois est déjà échu, comme le retient la cour cantonale ( cf. supra consid. 3.1) parce que le recourant pouvait déduire de bonne foi de la situation d'affermage que les héritiers s'étaient tacitement positionnés en ce sens qu'ils n'entendent pas reprendre l'exploitation agricole, peut toutefois demeurer indécis. Le délai absolu de deux ans est en effet aussi applicable ( cf. supra consid. 3.3), contrairement à ce que retient la cour cantonale dans l'arrêt querellé, de sorte que le recourant n'est quoi qu'il en soit plus en mesure de procéder à l'interpellation des héritiers en vue de respecter le délai relatif de trois mois, puisqu'il a laissé s'écouler plus de dix ans entre le décès du propriétaire le 30 septembre 1995, voire - dans le cas le plus favorable au recourant - l'inscription des héritiers au Registre foncier le 5 août 1996 ( cf. supra consid. 3.3), avant de faire valoir pour la première fois, le 26 octobre 2007, son droit d'emption. Le délai absolu de deux ans était alors largement échu au jour de l'exercice du droit d'emption. Le grief de violation des art. 25 à 27 LDFR est en définitive mal fondé.
4.
Vu de ce qui précède, le recours est rejeté. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer une indemnité de dépens aux intimés, qui s'en sont remis à justice quant à l'octroi de l'effet suspensif et n'ont pas été invités à déposer des observations ni sur la requête de mesures provisionnelles, ni sur le fond.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, à la Cour d'appel civile du Tribunal cantonal du canton de Vaud et au Conservateur du Registre foncier du Jura-Nord vaudois et du Gros-de-Vaud.
Lausanne, le 24 octobre 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Gauron-Carlin