Faits: A. D.X._ est décédé le 28 août 2011 à La Chaux-de-Fonds en laissant pour héritiers légaux son épouse E.X._ et ses deux fils issus d'une première union, A.X._ et B.X._. Par testament olographe du 7 février 1994, le défunt a pris des dispositions pour cause de mort par lesquelles il a réduit ses deux fils à leur réserve légale. Ce testament a été ouvert par la notaire dépositaire, Me C._, le 25 octobre 2011 et communiqué aux fils du défunt par lettres recommandées du même jour. B. B.a Le 16 novembre 2011, A.X._ et B.X._ ont requis la notaire dépositaire d'ordonner le bénéfice d'inventaire de la succession et de prendre toutes les mesures conservatoires nécessaires. La notaire dépositaire a rejeté cette requête par décision du 18 novembre 2011 pour le motif qu'elle était tardive. B.b Statuant sur appel des intéressés, la cour d'appel civile du Tribunal cantonal du canton de Neuchâtel l'a rejeté par arrêt du 1er février 2012. C. Par mémoire du 29 février 2012, A.X._ et B.X._ exercent un recours en matière civile contre cet arrêt. Ils concluent à son annulation et à ce que le bénéfice d'inventaire soit ordonné ainsi que toutes les mesures conservatoires nécessaires. À l'appui de leurs conclusions, ils invoquent une violation des art. 567 al. 2, 580 et 2 CC. Des observations n'ont pas été requises.