Faits:
A. A._ est décédé le 11 janvier 2009, laissant comme héritiers légaux et testamentaires son épouse, Z._, ainsi que ses deux fils, X._ et Y._. L'inscription au registre foncier des transferts de propriété des immeubles du défunt à ses hoirs a donné lieu, le 10 juillet 2009, à une décision d'émolument d'un montant de 6'017 fr.85 (dont 5'445 fr d'émolument ad valorem) de l'Office du registre foncier de l'arrondissement du Littoral et du Val de Travers. Saisi par les héritiers d'un recours contre cette décision, le Département de la gestion du territoire l'a rejeté par prononcé du 6 novembre 2009. Il a retenu que l'émolument réclamé avait été établi de manière exacte, qu'il reposait sur une loi au sens formel et qu'il respectait tant le principe de la couverture des frais que celui de l'équivalence. Les trois héritiers ont saisi le Tribunal administratif (actuellement Cour de droit public du Tribunal cantonal du canton de Neuchâtel; ci-après: le Tribunal cantonal) d'un recours contre cette décision, lequel a été rejeté par jugement du 8 décembre 2011.
B. Z._, X._ et Y._ forment un recours au Tribunal fédéral contre le jugement du 8 décembre 2011 du Tribunal cantonal. Outre l'effet suspensif, ils requièrent l'annulation de l'arrêt du Tribunal cantonal, de la décision du 6 novembre 2009 et de celle du registre foncier du 10 juillet 2009 sous suite de frais et dépens. Le 12 janvier 2012, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif. Le Département de la gestion du territoire ainsi que le Tribunal cantonal ont conclu au rejet du recours sous suite de frais.
Considérant en droit:
1. Interjeté par des parties directement touchées par la décision et qui ont un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF), le recours est dirigé contre un jugement final (cf. art. 90 LTF) rendu dans une cause de droit public (cf. art. 82 lettre a LTF) par un tribunal cantonal supérieur (cf. art. 86 al. 1 lettre d et al. 2 LTF). Il est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42, 46 al. 1 lettre b et 100 al. 1 LTF), sous réserve des questions de motivation, et que l'on ne se trouve pas dans l'un des cas d'exceptions mentionnés par l'art. 83 LTF. Toutefois, les conclusions relatives à l'annulation des décisions émanant des autorités inférieures sont irrecevables au regard de l'effet dévolutif du recours au Tribunal cantonal qui, seul, peut faire l'objet d'un recours devant le Tribunal fédéral.
2. Sauf dans les cas cités expressément à l'art. 95 LTF (non pertinents en l'espèce), le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire (art. 9 Cst.) ou contraire à d'autres droits constitutionnels (cf. ATF 135 III 513 consid. 4.3 p. 521/522; 133 III 462 consid. 2.3 p. 466). Le Tribunal fédéral n'examinera toutefois les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (principe de l'allégation déduit de l'art. 106 al. 2 LTF; cf. ATF 136 I 65 consid. 1.3.1 p. 68; 135 I 313 consid. 1.3 p. 316; 135 V 94 consid. 1 p. 95). Il procédera à cet examen en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF).
3. En vertu de l'art. 954 al. 1 CC, les cantons peuvent percevoir des émoluments pour les inscriptions au registre foncier et les travaux de mensuration qui s'y rattachent.
En application de cette disposition, le Grand Conseil neuchâtelois a adopté, le 25 janvier 1988, la loi concernant le tarif des émoluments du registre foncier (LERF; RS/NE 215.411.6), approuvé par le Conseil fédéral le 2 mars 1988, dite approbation ne restreignant nullement le droit du Tribunal fédéral de vérifier la constitutionnalité des normes cantonales (arrêt 2C_139/2009 du 13 août 2009 consid. 1.4; ATF 103 I 130 consid. 3a). A teneur de son art. 2 al. 1, les opérations et les services requis des autorités du registre foncier donnent lieu à la perception des émoluments fixés par cette loi et par arrêté du Conseil d'État. Les émoluments perçus par les bureaux du registre foncier sont fixes et proportionnels (art. 3 al. 1). Le Conseil d'État est compétent pour arrêter les émoluments fixes (art. 4). Ceux-ci ont été fixés par un arrêté concernant le tarif des émoluments fixes du registre foncier du 16 février 2005 (RS NE 215.411.60). Les inscriptions relatives au droit de propriété sont soumises aux émoluments ad valorem pour tout transfert entre vifs, ainsi qu'en cas de transfert résultant de l'ouverture d'une succession, partage successoral ou autre, dévolution d'un legs à hauteur de 1,5 o/oo jusqu'à 800'000 francs et de 0,8 o/oo sur l'excédent, mais au minimum 50 francs.
En 2002, un rapport du Conseil d'État à l'appui d'une révision du tarif qui avait pour objectif de relever le taux des émoluments ad valorem qui ne couvraient plus les frais du registre foncier précisait:
" Ces émoluments proportionnels ont le caractère de contribution mixte. Il s'agit à la fois d'un émolument administratif qui rémunère un service et un impôt indirect destiné à couvrir les dépenses générales de l'État. La jurisprudence et la doctrine précisent que cette contribution mixte se présente d'abord comme un émolument mais, à l'occasion de sa perception, l'État prélève une contribution publique qui excède la valeur du service rendu, même conçu globalement.
(...) L'augmentation proposée, dès lors qu'elle vise l'objectif de couverture des frais, nous paraît légitime" (BGC 2002-2003 II, p. 2051 s.)."
Le Tribunal cantonal a estimé (consid. 3 in fine) que "le principe de la couverture des frais tendant précisément à éviter qu'un émolument ne devienne un impôt, il est antinomique de qualifier les émoluments ad valorem perçus en application de l'art. 9 du tarif, d'impôt mixte si ceuxci poursuivent effectivement l'objectif de la couverture des frais".
Outre des émoluments fixes et proportionnels, l'État prélève des droits de mutation en application de la loi du 20 novembre 1991 concernant la perception de droits de mutation sur les transferts immobiliers (LDMI; RS NE 635.0).
Le litige ne porte que sur l'émolument proportionnel.
4. 4.1 La jurisprudence, suivant la doctrine, distingue, parmi les contributions publiques, entre les impôts, les contributions causales et les taxes d'orientation (ATF 135 I 130 consid. 2 p. 133; BLUMENSTEIN/LOCHER, System des schweizerischen Steuerrechts, 6ème éd., 2002, p. 5 s.; Xavier Oberson, Droit fiscal suisse, 3ème éd., 2007, § 1 no 3; Ryser/Rolli, Précis de droit fiscal suisse, 4ème éd., 2002, p. 3). Les impôts représentent la participation des citoyens aux charges de la collectivité; ils sont dus indépendamment de toute contre-prestation spécifique de la part de l'État. Les contributions causales, en revanche, constituent la contrepartie d'une prestation spéciale ou d'un avantage particulier appréciable économiquement accordé par l'État. Elles reposent ainsi sur une contre-prestation étatique qui en constitue la cause (ATF 135 I 130 consid. 2 p. 133; BLUMENSTEIN/LOCHER, op. cit., p. 2, 4 s.; HÖHN/WALDBURGER, Steuerrecht, vol. I, 9ème éd., 2000, § 1 nos 3 s.; ADRIAN HUNGERBÜHLER, Grundsätze des Kausalabgabenrechts, ZBl 2003 p. 505 ss, 507; Oberson, op. cit., § 1 nos 5, 6, 10). Généralement, les contributions causales se subdivisent en trois sous-catégories: les émoluments, les charges de préférence et les taxes de remplacement.
4.2 L'art. 954 al. 1 CC ne concerne que les émoluments d'enregistrement proprement dits (ATF 40 I 317 p. 320 consid. 3; Jürg Schmid, in Basler Kommentar, Zivilgesetzbuch II, 4ème éd., 2010-2011, n° 10 ad art. 954 CC). La jurisprudence du Tribunal fédéral a pu préciser à plusieurs reprises et de longue date que l'art. 954 al. 1 CC n'a pas pour effet de restreindre la souveraineté fiscale des cantons (ATF 48 I 532), l'art. 6 CC réservant le droit public cantonal (ATF 83 I 206 consid. 1 p. 208). Ceux-ci conservent dès lors la faculté de combiner l'émolument avec un impôt indirect (ATF 72 I 391; 82 I 281; 297).
En l'espèce, le Message du Conseil d'État au Grand Conseil fait état tant d'un émolument proportionnel que d'un impôt mixte. Le Tribunal cantonal a clairement retenu qu'il s'agissait d'un émolument fondé sur l'art. 954 al. 1 CC, à savoir d'une contribution causale, et non pas du résultat de l'exercice d'une prérogative fiscale indépendante déduite de la compétence reconnue aux cantons de légiférer dans ce domaine. Cette qualification, qui n'est pas critiquée par les recourants, doit être confirmée.
4.3 En matière de contributions publiques, lorsque la loi au sens formel délègue à l'organe exécutif la compétence d'établir une contribution, la norme de délégation, pour respecter le principe de la légalité, doit indiquer, au moins dans les grandes lignes, le cercle des contribuables, l'objet et la base de calcul de cette contribution. Ces exigences ont été assouplies par la jurisprudence pour certaines contributions causales, notamment en ce qui concerne leur calcul, dans la mesure où leur montant est limité par des principes constitutionnels contrôlables, tels ceux de la couverture des frais et de l'équivalence, et où la réserve de la loi ne remplit pas seule cette fonction protectrice (ATF 126 I 180 consid. 2 a) bb) p. 183 et les références citées).
En l'espèce, le principe de la légalité est parfaitement respecté, dès lors que les opérations et services soumis à la taxe causale et les principes de son calcul reposent sur les art. 2 al. 1 et 3 al. 1 LERF.
Le montant objet du litige repose sur une base légale formelle adoptée dans le cadre de compétence reconnue en la matière aux cantons, de sorte que même s'il s'agissait d'un impôt mixte, le recours devrait d'entrée de cause être rejeté.
Comme les recourants reprochent à l'instance précédente la violation des principes de l'équivalence et de la couverture des coûts, il convient toutefois d'examiner ces griefs, au demeurant infondés.
5. 5.1 Les différents types de contributions causales ont en commun d'obéir au principe de l'équivalence - qui est l'expression du principe de la proportionnalité en matière de contributions publiques -, selon lequel le montant de la contribution exigée d'une personne déterminée doit être en rapport avec la valeur objective de la prestation fournie à celle-ci (rapport d'équivalence individuelle). En outre, la plupart des contributions causales - en particulier celles dépendant des coûts, à savoir celles qui servent à couvrir certaines dépenses de l'État, telles que les émoluments et les charges de préférence - doivent respecter le principe de la couverture des frais. Selon ce principe, le produit global des contributions ne doit pas dépasser, ou seulement de très peu, l'ensemble des coûts engendrés par la subdivision concernée de l'administration (ATF 135 I 130 consid. 2 p. 133 s.; 129 I 346 consid. 5.1 p. 354; BLUMENSTEIN/LOCHER, op. cit., p. 2 s.; Hungerbühler, op. cit., p. 512; Oberson, op. cit., § 1 no 6).
5.2 Les recourants contestent tout d'abord le respect du principe d'équivalence, s'agissant de l'émolument proportionnel. Celui-ci a été arrêté à 5'445 fr., calculé sur la base de l'estimation cadastrale s'élevant à 6'106'000 fr. des 19 immeubles (immeubles de base et parts de PPE) dont est propriétaire l'hoirie de A._. Les taux appliqués sont de 1,5 o/oo jusqu'à 800'000 fr. et de 0,8 o/oo au-delà.
L'intérêt individuel à l'inscription au registre foncier, difficile à déterminer concrètement, n'est en principe que théorique et correspond à tous les avantages liés à l'inscription des droits dans un tel registre, qu'ils soit liés à la publicité relative à une telle opération ou aux présomptions qui en sont déduites (art. 973 CC). Quand bien même une telle inscription peut ne pas être une condition du transfert de propriété (art. 656 al. 2 CC; principe relatif de l'inscription au registre foncier), elle demeure obligatoire pour pouvoir ultérieurement disposer des biens immobiliers, que ce soit dans le cadre d'une aliénation ou de l'inscription du droit réel limité. En outre, l'État engage sa responsabilité pour le tenue de ce registre (art. 955 CC). La jurisprudence du Tribunal fédéral a ainsi pu préciser que le respect de ce principe d'équivalence dépend d'une part de savoir si l'utilisation du droit réel concerné est rendue impossible ou compliquée exagérément; d'autre part il faut prendre en compte l'efficacité du service étatique, la responsabilité liée à l'activité de l'État mais aussi la situation économique de l'administré et son intérêt à l'accomplissement de l'acte (ATF 126 I 180 consid. 3 c) aa), avec référence à l'arrêt du 30 septembre 1971 consid. 4 publié in RNRF 52/1971 p. 360 ss.). Il a ainsi été jugé qu'une contribution de 2'238 fr. pour la constitution de deux cédules hypothécaires de 900'000 fr. et de 240'000 fr. calculée au taux de 2,5 o/oo demeurait incontestablement raisonnable au regard de ces critères. Il ne peut qu'en aller de même en la cause au regard des taux de 1,5 et 0,8 o/oo appliqués, et de la fortune des recourants. Le grief de violation du principe d'équivalence est donc rejeté.
5.3 Les recourants invoquent ensuite une violation du principe de la couverture des frais.
Comme le relève à juste titre le Tribunal cantonal, le principe de la couverture des frais implique que toutes les dépenses qui relèvent d'une branche administrative déterminée peuvent être couvertes au moyen des émoluments administratifs. Le produit global des contributions ne doit pas dépasser, ou seulement de très peu, l'ensemble des coûts engendrés par la subdivision concernée de l'administration, définie en premier lieu selon des critères fonctionnels (ATF 126 I 180). Dès lors que les émoluments que les cantons peuvent percevoir en application de l'art. 954 CC portent tant sur les inscriptions au registre foncier que sur les travaux de mensuration qui s'y rattachent, la création d'une entité administrative unique sous l'appellation "Service géomatique et registre foncier", qui comprend la mensuration officielle, l'inspectorat du registre foncier ainsi que les deux offices du canton de Neuchâtel et le système d'information du territoire neuchâtelois SITN, n'est pas critiquable.
En l'espèce, les chiffres produits par le Tribunal cantonal ne sont pas contestés par les recourants. Ils font état d'un bénéfice réalisé par le Service et les offices du registre foncier de 437'284 fr. en 2004, de 1'272'493 fr. en 2005 et de 2'116'700 fr. en 2006. Après la réunion, en 2007, des services du registre foncier, du cadastre et de la géomatique, les émoluments administratifs perçus par ce service pour les années 2007, 2008, 2009 et 2010 n'ont pas suffi à couvrir ses frais. Dans la mesure où la branche administrative concernée est déficitaire, il ne saurait y avoir de violation du principe de la couverture des frais. Ce grief est donc rejeté.
6. Les recourants estiment qu'il y aurait "double facturation" en ce sens que serait taxée d'une part l'inscription de l'hoirie, d'autre part, ultérieurement, celle de chaque héritier au terme du partage. Ce grief n'est pas articulé en conformité des exigences de motivation de l'art. 106 al. 2 LTF et est donc irrecevable.
7. Les recourants pensent également qu'une "facturation fondée que sur un pourcentage sans plafond viole le principe constitutionnel de la garantie de la propriété". Ce grief, tel que présenté, est également irrecevable pour vice de motivation (art. 106 al. 2 LTF). Il en va de même dès lors qu'ils exposent qu'il faudrait prendre en compte les "charges liées à ces immeubles, spécialement les charges hypothécaires".
8. Enfin, dans un ultime grief, les recourants exposent qu'il ne saurait y avoir un émolument fixe - régi par l'arrêté du Conseil d'État - et un émolument proportionnel - arrêté par la LERF. A nouveau, s'agissant de droit cantonal, le grief n'est pas exposé conformément aux exigences de l'art. 106 al. 2 LTF et est donc irrecevable. Pour le reste, contrairement à ce qu'ils allèguent, le Tribunal cantonal a clairement exposé l'existence de bases légales distinctes pour chaque émolument, de sorte qu'il ne saurait y avoir eu déni de justice de sa part.
9. Il suit de ce qui précède que le recours, entièrement mal fondé, doit être rejeté dans la mesure où il est recevable. Succombant, les recourants supporteront solidairement les frais judiciaires (art. 65 et 66 al. 1 et 5 LTF) et n'ont pas droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. En tant que recevable, le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Le présent arrêt est communiqué au mandataire des recourants, à l'Office du registre foncier de l'arrondissement du littoral et du Val-de-Travers et à la Cour de droit public du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 12 avril 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz