Faits:
A. D.X._ est décédé le 28 août 2011 à La Chaux-de-Fonds en laissant pour héritiers légaux son épouse E.X._ et ses deux fils issus d'une première union, A.X._ et B.X._.
Par testament olographe du 7 février 1994, le défunt a pris des dispositions pour cause de mort par lesquelles il a réduit ses deux fils à leur réserve légale. Ce testament a été ouvert par la notaire dépositaire, Me C._, le 25 octobre 2011 et communiqué aux fils du défunt par lettres recommandées du même jour.
B. B.a Le 16 novembre 2011, A.X._ et B.X._ ont requis la notaire dépositaire d'ordonner le bénéfice d'inventaire de la succession et de prendre toutes les mesures conservatoires nécessaires. La notaire dépositaire a rejeté cette requête par décision du 18 novembre 2011 pour le motif qu'elle était tardive.
B.b Statuant sur appel des intéressés, la cour d'appel civile du Tribunal cantonal du canton de Neuchâtel l'a rejeté par arrêt du 1er février 2012.
C. Par mémoire du 29 février 2012, A.X._ et B.X._ exercent un recours en matière civile contre cet arrêt. Ils concluent à son annulation et à ce que le bénéfice d'inventaire soit ordonné ainsi que toutes les mesures conservatoires nécessaires. À l'appui de leurs conclusions, ils invoquent une violation des art. 567 al. 2, 580 et 2 CC.
Des observations n'ont pas été requises.

Considérant en droit:
1. 1.1 Le recours a été déposé en temps utile (<ref-law>) et dans la forme prévue par la loi (<ref-law>), contre une décision rendue en matière successorale (<ref-law>) et par les recourants qui ont succombé devant l'autorité cantonale de dernière instance (art. 75 al. 1 et 76 al. 1 LTF); il est ainsi recevable au regard de ces dispositions.
1.2 Contrairement à l'inventaire conservatoire de l'<ref-law> qui vise uniquement à assurer la conservation, la gestion et la dévolution des biens de la succession mais ne produit aucun effet matériel (arrêt 5A_686/2011 du 28 novembre 2011 consid. 2; STEINAUER, Le droit des successions, 2006, n. 867 s.), la décision relative au bénéfice d'inventaire selon les <ref-law> est destinée à produire de tels effets en tant qu'elle permet à l'héritier d'obtenir une vue claire de l'état de la succession avant de se déterminer - c'est-à-dire accepter purement et simplement la succession, la répudier, demander la liquidation officielle ou accepter la succession sous bénéfice d'inventaire - et de limiter sa responsabilité pour les dettes du de cujus (arrêt 5P.155/2001 du 24 juillet 2011 consid. 2a; STEINAUER, op. cit, n. 1008 et 1030; PIOTET, Droit successoral, Traité de droit privé suisse IV, 1975, p. 714; WISSMANN, Basler Kommentar, 2011, n° 11 ss ad Vor art. 580-592 CC; ENGLER, in: Abt/Weibel, Erbrecht, Praxiskommentar, 2007, n° 1 ad Vorbem. zu <ref-law>). Elle ne constitue dès lors pas une décision de mesures provisionnelles au sens de l'<ref-law>.
Par ailleurs, en tant que la décision de la cour cantonale confirme le rejet de la requête de bénéfice d'inventaire et, en conséquence, prive définitivement les héritiers des effets matériels de cette institution, elle est finale au sens de l'<ref-law>.
1.3 Portant sur le bénéfice d'inventaire, qui relève de la juridiction gracieuse (<ref-ruling> consid. 2; arrêt 5P.155/2001 du 24 juillet 2011 consid. 1a), la cause est néanmoins de nature pécuniaire, dès lors que, comme c'est la règle en matière successorale (arrêt 5A_395/2010 du 22 octobre 2010 consid. 1.2.2), la requête des recourants vise un but économique (arrêt 4A_584/2008 du 13 mars 2009 consid. 1.1 non publié aux <ref-ruling>; <ref-ruling> consid. 2c; arrêt 5A_594/2009 du 20 avril 2010 consid. 1.1). Aussi, contrairement à ce que ceux-ci prétendent, l'affaire a une valeur litigieuse, laquelle n'est pas non plus mentionnée dans l'arrêt attaqué (art. 112 al. 1 let. d LTF). Selon la jurisprudence, le recourant est cependant dispensé de chiffrer exactement la valeur litigieuse lorsque l'action tend à la communication de renseignements (<ref-ruling> consid. 1b/cc et les arrêts cités; arrêts 5A_810/2008 du 5 mai 2009 consid. 1.2; 5A_620/2007 du 7 janvier 2010 consid. 1; 5C.157/2003 du 22 janvier 2004 consid. 3.2 in : SJ 2004 I 477). Il en va de même en l'espèce puisque le bénéfice d'inventaire tend à permettre à l'héritier d'obtenir une vue claire de l'état de la succession avant de se déterminer et, cas échéant, de limiter sa responsabilité pour les dettes du de cujus.
Il s'ensuit que, compte tenu de la nature de la cause et des conséquences pécuniaires que peuvent engendrer les effets matériels du bénéfice d'inventaire, il y a lieu d'admettre que la valeur litigieuse de 30'000 fr. est atteinte (<ref-law>) en l'espèce.
2. Les recourants prétendent en substance que le délai pour requérir le bénéfice d'inventaire n'a commencé à courir que depuis l'ouverture du testament de leur père.
2.1 Aux termes de l'<ref-law>, l'héritier qui a la faculté de répudier peut réclamer le bénéfice d'inventaire. Il doit présenter sa requête à l'autorité compétente dans le délai d'un mois, les formes à observer étant celles de la répudiation (<ref-law>). La brièveté du délai est justifiée par le fait que le bénéfice d'inventaire n'implique aucun risque pour le requérant ainsi que par l'intérêt des créanciers du défunt à ne pas rester trop longtemps dans l'incertitude quant à l'acceptation ou la répudiation de la succession (arrêt 5P.155/2001 du 24 juillet 2001 consid. 2b).
Le point de départ et le calcul du délai sont soumis aux règles applicables au délai de répudiation (arrêt 5P.155/2001 du 24 juillet 2001 consid. 2b/aa; STEINAUER, op. cit., n. 1014a; WISSMANN, op. cit., n° 9 ad <ref-law>; ENGLER, op. cit, n° 10 ad <ref-law>; TUOR/PICENONI, Berner Kommentar, n° 11 ad <ref-law>). Selon l'<ref-law>, le délai pour répudier court, pour les héritiers légaux, dès le jour où ils ont connaissance du décès, à moins qu'ils ne prouvent n'avoir connu que plus tard leur qualité d'héritiers; pour les institués, dès le jour où ils ont été prévenus officiellement de la disposition faite en leur faveur. Selon la jurisprudence cantonale et la doctrine, si un héritier légal est institué héritier dans une plus large mesure que ne le prévoit la loi, le délai pour demander le bénéfice d'inventaire ne commence à courir qu'à partir du jour où cette disposition testamentaire lui a été officiellement communiquée puisqu'il devra répondre dans cette même mesure des dettes de la succession (arrêt du Tribunal cantonal de l'Etat de Fribourg du 1er septembre 2003 in RFJ 2003, p. 37; arrêt de la Chambre des recours du canton de Zurich du 25 février 1914 in ZR 14 n° 85, p. 204 s.; décision du Département de la justice du canton de Saint-Gall du 18 juillet 1932 in RNRF 20 (1939) p. 281 s.; WISSMANN, op. cit., n° 9 ad <ref-law>; TUOR/PICENONI, op. cit., n° 11 ad <ref-law>; KAUFMANN, Die Errichtung des öffentlichen Inventars im Erbrecht, 1959, p. 57).
2.2 La cour cantonale a estimé que, dès lors que les droits successoraux des recourants ont été restreints par les dispositions testamentaires du défunt, qui les a réduits à leur réserve, leur responsabilité quant aux dettes de la succession était également restreinte. Elle en a déduit que le délai pour requérir le bénéfice d'inventaire commençait à courir pour les recourants, héritiers légaux du de cujus, dès la connaissance du décès de leur père et que, en conséquence, leur requête était tardive.
2.3 Les recourants font valoir qu'ils sont héritiers institués de sorte qu'ils peuvent requérir le bénéfice d'inventaire dans un délai d'un mois dès la communication officielle des dispositions pour cause de mort. Se référant à la jurisprudence cantonale et la doctrine citées par la cour cantonale dans ses considérants, ils invoquent que si celles-ci décrivent la situation d'un héritier légal dont les droits ont été élargis par testament pour admettre que le délai ne court que dès la communication officielle des dispositions pour cause de mort, elles n'excluent pas qu'il en irait de même en cas de réduction de la quote-part, distinction qui ne ressortirait pas non plus de l'<ref-law>.
2.4 Les recourants sont les enfants du défunt; ils sont donc les héritiers légaux réservataires de celui-ci (<ref-law>). En conséquence, ils avaient pleinement connaissance, au décès de leur père, aussi bien de leur vocation successorale que du fait que celle-ci était, hormis les cas plutôt exceptionnels d'exhérédation (<ref-law>), protégée dans la mesure de leur réserve héréditaire. Aussi, la communication officielle des dispositions pour cause de mort, qui les réduit à leur réserve, ne modifie en rien leur situation au regard du but que vise le bénéfice d'inventaire, à savoir leur permettre d'obtenir une vue claire de l'état de la succession avant de se déterminer - c'est-à-dire accepter purement et simplement la succession, la répudier, demander la liquidation officielle ou accepter la succession sous bénéfice d'inventaire - et de limiter leur responsabilité pour les dettes successorales (KAUFMANN, op. cit., p. 57 s.; décision du Département de la justice du canton de Saint-Gall du 18 juillet 1932 in RNRF 20 (1939) p. 281 s.). Dans ces circonstances, il n'existe aucun motif pour que le délai pour requérir une telle mesure ne commence à courir qu'à la communication officielle des dispositions pour cause de mort. Le recours doit donc être rejeté sur ce point.
3. Les recourants invoquent en outre l'<ref-law> et se prévalent de la bonne foi en tant que la loi neuchâteloise du 2 novembre 2010 sur le traitement des actes à cause de mort et actes similaires (LACDM) ne prévoit pas quel notaire du canton serait compétent pour recevoir la requête de bénéfice d'inventaire alors que, en présence d'un acte pour cause de mort, le notaire compétent pour recevoir dite requête est celui qui a procédé à l'ouverture de l'acte. Ils en déduisent qu'avant la rencontre avec Me C._ le 25 octobre 2011, près de deux mois après le décès du de cujus, ils n'avaient aucune idée à quel notaire ils devaient s'adresser.
En l'espèce, le fait que la loi cantonale ne prévoie pas précisément quel notaire serait compétent pour recevoir la requête de bénéfice d'inventaire à défaut de dispositions pour cause de mort ne permet nullement aux recourants d'invoquer leur bonne foi. La même règle vaut en effet pour tout héritier légal d'une personne décédée dans le canton de Neuchâtel désireux de requérir une telle mesure. De plus, les recourants ne prétendent pas qu'une quelconque assurance leur aurait été donnée quant au point de départ du délai pour former leur requête lors de l'ouverture des dispositions pour cause de mort du de cujus. Il s'ensuit que, mal fondé, ce grief doit également être rejeté.
Il n'y a enfin pas lieu d'examiner, faute de grief, si le délai de l'<ref-law> peut être prolongé ou restitué par application analogique de l'<ref-law> (question laissée indécise dans l'<ref-ruling>).
4. En définitive, le recours doit être rejeté. Les frais judiciaires, arrêtés à 2'000 fr. sont mis solidairement à la charge des recourants, qui succombent (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à répondre (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Le présent arrêt est communiqué aux parties et à la Cour civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 6 juillet 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Richard