Faits:
A. A.a Par acte notarié du 5 mars 1981, X._ a vendu à son fils A._ les immeubles formant son exploitation agricole, notamment la parcelle n° 4371 du cadastre de E._, pour la somme de 96'150 fr. L'acte de vente contient en outre la clause suivante:
"Quote-part au gain
En application de l'article 218quinquies CO, et par analogie aux dispositions des articles 619 et suivants CCS, Monsieur A._ accorde au vendeur, ou à son défaut aux descendants de celui-ci, une quote-part du gain en cas de revente ou d'expropriation des immeubles ici transférés, ceci au sens des dispositions légales précitées."
Ce droit au gain a été annoté au registre foncier, conformément au droit alors en vigueur, avec indication du terme du délai, à savoir le 15 mars 2006. Il a été radié à l'échéance.
A.b X._ est décédé le 14 août 1998, laissant pour héritiers, son épouse dame X._ et leurs quatre enfants, à savoir A._, B._, C._ et D._.
Dame X._ est elle-même décédée le 17 août 2006 laissant pour héritiers ses quatre enfants susmentionnés.
A.c Un schéma directeur sectoriel d'aménagement concernant le plateau de E._-F._-G._ publié par le Département de la gestion du territoire (ci-après: DGT) et le Département de l'économie publique du canton de Neuchâtel (ci-après: DEC) a été approuvé le 2 mai 2005 par le DGT et le 3 mai 2005 par les communes concernées. La parcelle n° 4371 (nouvellement n° 6209) du cadastre de E._ est incluse dans ce schéma s'agissant de la réalisation des étapes 2 et 3. Le plan d'affectation cantonal du pôle de développement économique du littoral ouest, première étape (commune de E._), qui a été établi sur la base du schéma directeur sectoriel précité, mis à l'enquête publique puis approuvé par le Conseil d'État le 10 août 2005, ne concerne pas la parcelle n° 4371 (nouvellement n° 6209).
B. B.a En date du 2 mars 2006, sur réquisition de l'hoirie de feu X._ - qui a fait valoir qu'elle a un droit au gain du fait de l'approbation du schéma directeur sectoriel de mai 2005 intervenue dans le délai de 25 ans, lequel vaudrait introduction de la procédure de classement de l'immeuble agricole dans la zone à bâtir au sens de l'art. 29 al. 2 let. c LDFR -, l'office du Registre foncier de l'arrondissement du Littoral et du Val-de-Travers a procédé, sur le feuillet du bien-fonds n° 4371 (nouvellement n° 6209) de la commune de E._, à l'annotation d'une inscription provisoire d'un droit de gage, sans indication de montant, en garantie du droit au gain.
B.b Par acte du 11 septembre 2006, A._ a ouvert contre ses cohéritiers une action en rectification du Registre foncier tendant à la radiation de l'inscription provisoire pour le motif que la parcelle en cause n'avait fait l'objet d'aucun plan d'affectation, seul susceptible, selon lui, d'introduire la procédure de classement d'un immeuble agricole dans la zone à bâtir. La Ire Cour civile du Tribunal cantonal de la république et canton de Neuchâtel a déclaré irrecevable l'action en tant qu'elle était dirigée contre dame X._, décédée, et l'a rejetée pour le surplus par jugement du 20 octobre 2010.
C. Le 22 novembre 2010, A._ exerce un recours en matière civile au Tribunal fédéral contre ce jugement, concluant notamment à son annulation et à l'admission de son action en rectification du Registre foncier. Il invoque une violation des art. 29 al. 1 let. c et 29 al. 2 let. c LDFR. Subsidiairement, il fait valoir que la requête d'inscription provisoire n'a pas été formée avant l'aliénation.
Les intimés concluent au rejet du recours dans leurs observations du 11 mars 2011. Le Tribunal cantonal se réfère aux considérants de son arrêt.
Considérant en droit:
1. Le jugement de la cour cantonale ayant été rendu et expédié aux parties en 2010, il n'est pas soumis au code de procédure civile du 19 décembre 2008 (CPC, RS 272), entré en vigueur le 1er janvier 2011 (ATF 137 III 127 consid. 2, 130 consid. 2). Le droit transitoire relatif aux art. 75 al. 2 et 111 al. 3 LTF, tel que prévu par l'art. 130 al. 2 LTF, demeure donc applicable.
Le présent recours est dirigé contre une décision finale (art. 90 LTF), rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale ayant statué en dernière (unique) instance (art. 75 al. 1 LTF; cf. ATF 137 III 127 consid. 1) et il a été interjeté dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF). Par ailleurs, la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF). Le recours est donc recevable en principe.
2. Selon l'art. 99 al. 2 LTF, les conclusions nouvelles sont irrecevables. Il s'ensuit que le chef de conclusions du recourant, pris pour la première fois devant le Tribunal fédéral, et tendant à "dire que le moment déterminant l'introduction d'une procédure de classement en zone à bâtir est la date de la mise à l'enquête publique du plan d'affectation" est inadmissible.
3. 3.1 La Cour cantonale a rejeté l'action en rectification du Registre foncier formée par le recourant pour le motif que l'introduction de la procédure de classement au sens de l'art. 29 al. 2 let. c LDFR avait eu lieu avant l'échéance du délai de 25 ans, par l'adoption en mai 2005 du schéma directeur sectoriel d'aménagement concernant le plateau de E._-F._-G._ et que le droit au gain - que garantit l'inscription provisoire - restait possible en cas de classement effectif de la parcelle n° 6209 (anciennement n° 4371).
La juridiction cantonale a considéré que les études de base prescrites par l'art. 6 LAT en vue de préparer l'élaboration du plan directeur faisaient partie intégrante de la procédure d'aménagement du territoire qui aboutit, à son dénouement, au classement d'un terrain dans une zone ou une autre. Elle a également jugé que l'approbation des études de base en vue de l'élaboration d'un plan directeur cantonal constituait la première étape de la procédure de classement d'un terrain. Elle a ensuite qualifié le schéma directeur sectoriel d'aménagement du plateau de E._-F._-G._ approuvé les 2 et 3 mai 2005 d'études de base au sens de l'art. 6 LAT, mais non de conception directrice au sens de l'art. 13 al. 1 let. a de la loi sur l'aménagement du territoire du 21 octobre 1991 du canton de Neuchâtel (LCAT; RSN 701.0), car le schéma n'a pas été approuvé par le Grand Conseil. Elle en a déduit que ce schéma était la première étape imposée pour l'élaboration du plan directeur, lui-même indispensable à un plan d'affectation qui déterminera l'utilisation du sol et délimitera en premier lieu les différentes zones, notamment la zone à bâtir, et que, par conséquent, il introduisait une procédure de classement au sens de l'art. 29 al. 2 let. c LDFR pour la parcelle n° 6209 (anciennement n° 4371).
3.2 Le recourant conteste qu'une procédure de classement ait été introduite s'agissant de la parcelle n° 6209 (anciennement n° 4371). Il fait valoir que, faute de procédure de classement en droit de l'aménagement du territoire, ce sont les plans cantonaux d'affectation qui déterminent, de façon contraignante, le mode, la localisation et la mesure de l'utilisation admissible du sol pour chaque parcelle, sa fonction primordiale étant de séparer les zones constructibles des zones non constructibles. Il conteste donc, en l'espèce, que l'approbation du schéma directeur sectoriel marque le début d'une procédure de classement. Procédant à des comparaisons entre diverses législations cantonales romandes, le recourant invoque que c'est la mise à l'enquête publique qui doit être retenue comme moment déterminant au sens de l'art. 29 al. 2 let. c LDFR, d'autant plus que c'est également la mise à l'enquête publique des plans et tableaux qui ouvre formellement la procédure d'expropriation, un autre cas d'aliénation au sens de la LDFR. Enfin, il fait valoir que la solution adoptée par la cour cantonale prolonge de manière arbitraire le droit au gain des cohéritiers sur la seule base d'une hypothétique incorporation dans la zone à bâtir.
3.3 Dans leur réponse du 11 mars 2011, les intimés invoquent que le schéma directeur sectoriel prévoit d'ores et déjà le classement de la parcelle en cause en zone économique pour le développement industriel et que celui-ci sera concrétisé par les plans d'affectation cantonaux relatifs aux étapes 2 et 3. Ils avancent en outre qu'il ressort du rapport d'aménagement à l'appui du schéma directeur sectoriel que le recourant est disposé à vendre son terrain, mais souhaite attendre afin que le droit au gain des intimés ne soit plus un problème à ses propres négociations.
4. La clause conventionnelle de quote-part au gain comprise dans l'acte du 5 mai 1981 étant fondée sur l'art. 218quinquies aCO, disposition abrogée par la LDFR avec effet au 1er janvier 1994, il y a lieu d'examiner tout d'abord si le droit au gain reste soumis à l'ancien droit ou si le nouveau droit s'applique.
Aux termes de l'art. 94 al. 3 LDFR, un droit légal ou conventionnel au gain qui existait déjà au moment de l'entrée en vigueur de la loi conserve sa validité sous l'empire du nouveau droit; sauf convention contraire, l'exigibilité et le calcul sont cependant régis par le droit applicable au moment de l'aliénation; le classement d'un immeuble agricole dans une zone à bâtir (art. 29 al. 1 let. c LDFR) n'est réputé aliénation que si la décision concernant l'incorporation survient après l'entrée en vigueur de la loi.
Le droit au gain est donc en principe régi par le nouveau droit: les droits légaux ou conventionnels qui existaient déjà sous l'ancien droit restent valables; leurs effets sont toutefois réglés, sauf convention contraire, par les nouvelles dispositions, principalement en ce qui concerne le montant du gain et son exigibilité. La notion d'aliénation est soumise à la loi nouvelle, ce que le législateur a d'ailleurs précisé pour le principal nouveau cas d'aliénation, à savoir le classement d'un immeuble en zone à bâtir - avec un complément puisque, pour viser tous les classements survenus dès l'entrée en vigueur de la loi, il a admis qu'il y a aliénation au sens du nouveau droit non seulement si une procédure de classement est introduite après le 1er janvier 1994, mais également si, débutée avant, elle se termine par l'incorporation dans la zone à bâtir après le 31 décembre 1993 -. Ainsi, il ne reste à la loi en vigueur lors de la naissance du droit que la détermination de l'existence du droit au gain. L'art. 29 LDFR est par conséquent applicable aux droits au gain nés avant le 1er janvier 1994; ce n'est que si l'aliénation, au sens de la LDFR, intervient avant cette date que les art. 619 ss aCC et 218quinquies aCO restent applicables (cf. PIOTET, Le droit transitoire des lois fédérales sur le droit foncier rural et sur la révision partielle du code civil et du code des obligations du 4 octobre 1991 in: RDS 1994, vol. I, p. 125 ss, spéc. p. 135; HENNY/HOTZ/STUDER, Le droit foncier rural, Commentaire LDFR, 1998, n. 19 s. ad art. 94 LDFR; MEYER, Der Gewinnanspruch der Miterben im bäuerlichen Bodenrecht, 2004, p. 545 s.; DONZALLAZ, Commentaire de la LDFR, 1993, n. 791 ad art. 92, 93 et 94 LDFR).
En l'espèce, le nouveau droit s'applique donc à la question de l'aliénation, précisément à la question de savoir si elle est intervenue dans le délai de 25 ans, soit avant le 15 mars 2006.
5. Le classement d'un immeuble agricole dans une zone à bâtir (sous réserve d'une exception non pertinente en l'espèce) constitue une aliénation (art. 28 al. 1 LDFR) donnant droit à une quote-part au gain (art. 29 al. 1 let. c LDFR). Aux termes de l'art. 29 al. 2 let. c LDFR, le moment de l'aliénation est déterminé par l'introduction de la procédure de classement d'un immeuble agricole dans une zone à bâtir.
Il y a donc lieu de déterminer ce qu'il faut entendre par l'introduction de la procédure de classement dans une zone à bâtir.
5.1 Selon la jurisprudence, la loi s'interprète en premier lieu selon sa lettre (interprétation littérale). Si le texte n'est pas absolument clair, si plusieurs interprétations de celui-ci sont possibles, le juge recherchera la véritable portée de la norme, en la dégageant de sa relation avec d'autres dispositions légales et de son contexte (interprétation systématique), du but poursuivi, singulièrement de l'intérêt protégé (interprétation téléologique), ainsi que de la volonté du législateur telle qu'elle ressort notamment des travaux préparatoires (interprétation historique; ATF 135 II 416 consid. 2.2; 134 I 184 consid. 5.1 et les références citées). Lorsqu'il est appelé à interpréter une loi, le Tribunal fédéral adopte une position pragmatique en suivant ces différentes méthodes, sans les soumettre à un ordre de priorité (ATF 133 III 257 consid. 2.4; 131 III 623 consid. 2.4.4 et les références citées).
5.2 La zone à bâtir visée correspond à celle de l'art. 15 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT, RS 700; cf. Message du Conseil fédéral à l'appui des projets de loi fédérale sur le droit foncier rural et de loi fédérale sur la révision partielle du code civil et du code des obligations du 19 octobre 1988 [ci-après: Message], FF 1988 III 889 ss, spéc. p. 946). Il s'agit d'une notion de droit fédéral que les cantons ou les communes doivent mettre en ?uvre dans des plans d'affectation. Seules sont à bâtir les zones immédiatement constructibles et non les "zones à affecter ultérieurement" ou les "zones d'attente" et autres "zones intermédiaires" (HENNY, Le droit foncier rural, Commentaire LDFR, 1998, n. 13 ad art. 29 LDFR; BEELER, Bäuerliches Erbrecht gemäss BGBB, 1998, p. 367; MEYER, op. cit. p. 211 ss; cf. également ATF 118 Ia 165 consid. 3c).
5.3 Pour pouvoir interpréter la notion d'"introduction de la procédure de classement", il faut d'abord examiner les divers instruments de la planification qui conduisent à l'affectation d'un terrain agricole à la zone à bâtir.
5.3.1 La LAT distingue les plans directeurs, d'une part, et les plans d'affectation, d'autre part.
5.3.1.1 Le plan directeur cantonal au sens des art. 6 à 12 LAT détermine entre autres l'orientation future de la planification et de la collaboration entre autorités en précisant notamment les exigences à respecter lors de l'affectation du sol et en ce qui concerne la coordination des différents domaines sectoriels (cf. art. 5 al. 1 OAT; HALLER/KARLEN, Raumplanungs-, Bau- und Umweltrecht, Vol. I, 1999, n. 190; ZEN-RUFFINEN/ECABERT, Aménagement du territoire, construction, expropriation, 2001, n. 225 s.). Il est précédé d'études de base (art. 6 LAT).
5.3.1.2 Les plans d'affectation au sens des art. 14 ss LAT règlent l'utilisation du sol (art. 14 al. 1 LAT), déterminant pour chaque parcelle, le mode, le lieu et la mesure de l'utilisation admissible du sol (ATF 135 II 328 consid. 2.2; 123 II 91 consid. 1a/aa; WALDMANN/HÄNNI, Raumplanungsgesetz, 2006, n. 3 ad art. 14 LAT; MOOR, Commentaire de la loi fédérale sur l'aménagement du territoire, 2010, n. 1 ad art. 14 LAT et les références citées); ils délimitent les zones à bâtir, les zones agricoles et les zones à protéger (art. 14 al. 2 LAT).
5.3.2 La plupart des cantons confient l'établissement des plans d'affectation aux communes. Toutefois, ils se réservent certaines compétences lorsque des intérêts supra-régionaux sont en jeu (ZEN-RUFFINEN/ECABERT, op. cit., n. 421; WALDMANN/HÄNNI, op. cit., n. 13 s. ad art. 25 LAT ). Ainsi le canton de Neuchâtel dispose de plans d'affectation cantonaux (art. 13 let. c et 16 de la loi sur l'aménagement du territoire du 21 octobre 1991 du canton de Neuchâtel [LCAT; RSN 701.0]) et de plans d'affectation communaux (art. 43 ss LCAT).
5.4 Il y a donc lieu de déterminer désormais lequel de ces instruments de la planification correspond à la notion de procédure de classement.
Le cas d'aliénation de l'art. 29 al. 1 let. c LDFR a été introduit pour tenir compte non seulement du principe de l'égalité entre les cohéritiers, mais également de motifs d'aménagement du territoire. D'une part, le classement d'un terrain dans la zone à bâtir entraîne une augmentation importante de sa valeur dont chacun des cohéritiers doit pouvoir profiter. D'autre part, les zones à bâtir doivent être utilisées à des fins de construction; le droit au gain instauré a pour but d'inciter le propriétaire exploitant, qui doit s'en acquitter, soit à vendre soit à bâtir des constructions et donc vise à favoriser un aménagement rationnel du territoire et à éviter la thésaurisation des terrains constructibles. Même si le propriétaire continue d'exploiter son terrain à des fins agricoles et ne réalise aucun gain effectif, ses cohéritiers peuvent faire valoir leur droit au gain (cf. BO 1990 CE 229 ss, BO 1991 CN 122 ss; Message, FF 1988 III 946; MEYER, op. cit. p. 206 ss; STEINAUER, Le droit des successions, 2006, n. 1336; HENNY, op. cit., n. 12 ad art. 29 LDFR; DONZALLAZ, op. cit., n. 321 ad. art. 29 et 30 LDFR; STEINAUER, Le droit au gain selon le nouveau droit foncier rural in: RDS 1994, vol. I, p. 18 s.; HENNY, Le droit des cohéritiers au gain des art. 28 et ss de la loi sur le droit foncier rural [LDFR] in: RNRF 1995, p. 139 s.).
Pour que ces deux objectifs puissent se réaliser, il faut admettre que seul le plan d'affectation peut valoir procédure de classement. En effet, seuls les plans d'affectation permettent d'établir si un terrain est classé dans la zone à bâtir puisqu'ils délimitent les différentes zones, notamment la zone à bâtir au sens de l'art. 15 LAT. En outre, ce n'est que la possibilité de construire dans un avenir proche qui entraîne une augmentation importante de la valeur du terrain, laquelle doit profiter aux cohéritiers. Les études de base au sens de l'art. 6 LAT ou un plan directeur cantonal englobant un terrain agricole ne permettent pas d'atteindre ces objectifs; il s'agit là tout au plus d'une affectation envisagée dont on ne peut déduire avec suffisamment de certitude qu'elle se réalisera dans un avenir proche.
5.5 Il reste enfin à déterminer le moment auquel la procédure de classement, c'est-à-dire le plan d'affectation, est introduite.
Par l'adoption de l'art. 29 al. 2 let. c LDFR, le législateur a voulu prévenir toute tentative du propriétaire d'utiliser de manière dilatoire les voies de droit pour faire échec au droit au gain des cohéritiers (cf. Message, FF 1988 III 947). Pour la majorité de la commission parlementaire du Conseil national, le moment déterminant devait être la mise à l'enquête publique des plans, laquelle exprime la volonté politique de construire dans un avenir proche (Intervention Nussbaumer, BO 1991 N 124; du même avis: MEYER, op. cit. p. 265; STALDER, Der Kauf landwirtschaftlicher Gewerbe und Grundstücke in KOLLER, éd., Der Grundstückskauf, 2001, p. 332).
L'art. 33 al. 1 LAT impose en effet aux cantons de mettre à l'enquête publique les plans d'affectation (cf. ATF 135 II 286 consid. 5). Cette solution garantit contre les manoeuvres dilatoires du propriétaire du terrain, puisque celui-ci n'est pas en mesure d'influer formellement sur le cours de la procédure antérieure à la mise à l'enquête publique des plans d'affectation, dont l'avancement ne dépend que des autorités compétentes; ce n'est en effet qu'à partir de la mise à l'enquête qu'il a la possibilité de faire opposition ou recours (en droit neuchâtelois, cf. art. 25 et 26 al. 1 LCAT). Elle a également le mérite d'assurer une certaine uniformité dans l'application de l'art. 29 al. 2 let. c LDFR dès lors qu'elle se réfère à une notion de droit fédéral dans une procédure d'aménagement du territoire relevant essentiellement du droit cantonal. Enfin, cette solution permet de ne pas prolonger indéfiniment l'exigibilité du gain qui peut déjà intervenir plus de quarante ans après l'attribution d'une parcelle à la valeur de rendement dans l'hypothèse où le terrain n'est ni vendu ni utilisé comme terrain à bâtir - vu la durée maximale du droit de 25 ans et le report de l'exigibilité en cas de classement de 15 ans au plus (art. 30 let. b LDFR) - (cf. HENNY, op. cit., n. 9 ad art. 30 LDFR).
Il convient en conséquence de retenir que la mise à l'enquête publique du plan d'affectation est le moment déterminant pour l'introduction de la procédure de classement au sens de l'art. 29 al. 2 let. c LDFR.
5.6 En l'espèce, l'adoption du schéma directeur sectoriel - qualifié d'études de base au sens de l'art. 6 LAT et englobant la parcelle n° 6209 (anciennement n° 4371) -, qu'invoquent les intimés, ne constitue pas un plan d'affectation et ne suffit donc pas pour introduire la procédure de classement. En outre, quand bien même le recourant aurait l'intention d'attendre l'échéance du délai du droit au gain pour vendre, comme invoqué par les intimés, il n'en demeure pas moins qu'il n'a eu aucune influence sur le déroulement de la procédure puisque le choix des terrains compris dans le plan d'affectation du 10 août 2005 appartenait aux seules autorités étatiques et qu'il ne disposait d'aucun moyen de droit pour intervenir formellement sur ce point.
Comme aucun plan d'affectation comprenant la parcelle en cause n'a été mis à l'enquête publique avant le 15 mars 2006, aucune procédure de classement dans la zone à bâtir au sens de l'art. 29 al. 1 let. c LDFR n'a été introduite dans le délai de 25 ans. Par conséquent, le droit au gain des cohéritiers est périmé. L'inscription provisoire du droit de gage, sans indication de montant, en garantie du droit au gain opérée le 2 mars 2006 au Registre foncier est donc dépourvue de cause légitime. L'action en rectification doit en conséquence être admise et la radiation de cette inscription ordonnée.
6. Ce motif étant suffisant pour admettre le recours, il n'y a pas lieu d'examiner les griefs invoqués, à titre subsidiaire, par le recourant.
Sur le vu de ce qui précède, le recours doit donc être admis et l'arrêt cantonal réformé en ce sens que l'action en rectification du Registre foncier est admise et qu'il est ordonné à l'Office du Registre foncier du Littoral et du Val-de-Travers de radier l'annotation n° 2286 prise sur le bien-fonds n° 6209 (anciennement n° 4371) du cadastre de E._. Les frais de justice, arrêtés à 7'000 fr., sont mis solidairement à la charge des intimés qui succombent. Les intimés verseront en outre au recourant une indemnité de dépens à hauteur de 7'000 fr. (art. 68 al. 1 et 2 LTF). Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (art. 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt cantonal est réformé en ce sens que la demande de rectification du Registre foncier est admise et qu'il est ordonné à l'Office du Registre foncier du Littoral et du Val-de-Travers de radier l'annotation n° 2286 prise sur le bien-fonds n° 6209 (anciennement n° 4371) du cadastre de E._, propriété de A._.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis solidairement à la charge des intimés.
3. Une indemnité de 7'000 fr., à payer au recourant à titre de dépens, est mise solidairement à la charge des intimés.
4. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens des instances cantonales.
5. Le présent arrêt est communiqué aux parties, à la Ire Cour civile du Tribunal cantonal de la république et canton de Neuchâtel et à l'Office du Registre foncier du Littoral et du Val-de-Travers.
Lausanne, le 28 avril 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Richard