Faits :
A.
A._ est notaire dans le canton du Valais. Les 14 et 16 avril 2015, le Service des registres fonciers et de la géomatique du canton du Valais (ci-après: le Service cantonal), par sa Centrale des testaments, a informé l'intéressé des décès de deux personnes. Celui-ci était dépositaire officiel des testaments olographes des défunts et d'un pacte successoral auquel était partie le deuxième d'entre eux.
B.
Deux factures, de 24 fr. chacune (20 fr. par avis, 3 fr. d'autres émoluments et 1 fr. de timbre-poste), ont été jointes aux informations des 14 et 16 avril 2015. Les 16 et 17 avril 2015, A._ a recouru contre ces factures auprès du Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat). Celui-ci a rejeté les recours par décision du 4 mai 2016. A._ a contesté ce prononcé le 7 juin 2016 auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal). Par arrêt du 30 septembre 2016, le Tribunal cantonal a rejeté le recours de A._.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 30 septembre 2016 du Tribunal cantonal et de le dispenser de s'acquitter des deux émoluments de 24 fr. Il se plaint d'interprétation arbitraire du droit cantonal, ainsi que de violations du principe de la couverture des frais et de son droit d'être entendu.
Le Conseil d'Etat conclut au rejet du recours. Le Tribunal cantonal a fait parvenir sa détermination hors délai.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public. Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'acte attaqué (<ref-law>), de sorte qu'il convient d'entrer en matière.
2.
2.1. Sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal (ou communal) en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>).
En l'espèce, le litige porte sur le bien-fondé d'un émolument basé sur le règlement valaisan du 7 septembre 2005 concernant la loi sur le notariat (RLN/VS; RSVS 178.101). Partant, la cognition du Tribunal fédéral est limitée aux griefs du recourant qui répondent aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 382 s.; arrêt 2C_222/2016 du 29 septembre 2016 consid. 2.1, non publié in <ref-ruling>).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>; <ref-ruling> consid. 4.4.3 p. 156 s.). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant, citant l'art. 29 al. 2 Cst., se plaint d'une violation de son droit d'être entendu.
3.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1.1 p. 52 ss; <ref-ruling> consid. 6.3.1 p. 298 s. et les arrêts cités). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (ATF <ref-ruling> consid. 6.3.1 p. 298 s. et les arrêts cités).
3.2. En rapport avec les recettes et les charges de fonctionnement de la Centrale des testaments retenues par le Tribunal cantonal, le recourant invoque une violation de son droit d'être entendu. Il estime que l'autorité précédente aurait dû ordonner une expertise de la comptabilité par l'Inspection cantonale des finances, dès lors que " les charges sont de très peu supérieures aux produits"et qu'il "y a des risques que les charges d'imputations internes de 9'650 fr. en 2014 et de 10'100 fr. en 2013 varient et soient ajustées aux émoluments encaissés année après année pour faire en sorte que le service présente comptablement une perte ".
Le Tribunal cantonal a estimé qu'une expertise de la comptabilité de la Centrale des testaments n'était pas nécessaire, dès lors que le recourant n'apportait aucun indice concret justifiant de suspecter que cette comptabilité serait entachée d'erreurs et qu'il n'y avait pas à présumer que ses éventuelles irrégularités auraient échappé au contrôle.
3.3. Par sa motivation, l'autorité précédente a procédé à une appréciation anticipée des preuves, estimant qu'il n'était pas nécessaire d'ordonner l'expertise demandée. C'est donc bien plus d'une appréciation arbitraire des preuves que d'une violation du droit d'être entendu que le recourant désire se plaindre (cf. arrêt 2C_574/2015 du 5 février 2016 consid. 2.2). Or, celui-ci n'explique pas à suffisance en quoi l'appréciation du Tribunal cantonal serait arbitraire. Sa motivation à ce propos ne remplit pas les conditions posées par l'<ref-law>. Au demeurant, c'est de manière pleinement soutenable que le Tribunal cantonal a expliqué en quoi cette expertise était superflue. Le grief doit donc être écarté.
4.
L'arrêt entrepris confirme une décision par laquelle le Conseil d'Etat a rejeté deux recours contre des émoluments de 24 fr. consécutifs à des informations données au recourant, relatives à l'existence de dispositions pour cause de mort. Le Tribunal cantonal a considéré en bref que l'art. 45 al. 3 RLN/VS, en relation avec l'art. 88 al. 1 de la loi valaisanne du 6 octobre 1976 sur la procédure et la juridiction administratives (LPJA/VS; RSVS 172.6), constituaient des bases légales suffisantes pour percevoir lesdits émoluments.
Pour sa part, le recourant est d'avis que le Tribunal cantonal a procédé à une interprétation arbitraire de diverses dispositions de droit cantonal. Selon lui, le cercle des contribuables de l'émolument n'est pas suffisamment défini pour pouvoir lui en faire supporter le paiement. Il invoque en outre une violation du principe de la couverture des frais.
Le litige porte donc sur le point de savoir si c'est arbitrairement que le Tribunal cantonal a considéré que des émoluments de 20 fr. pouvaient être prélevés auprès du recourant en application de l'art. 45 al. 3 RLN/VS, en relation avec l'art. 88 al. 1 LPJA/VS et si les émoluments réclamés respectent le principe de la couverture des frais.
5.
Le recourant invoque en premier lieu une application arbitraire des art. 45 RLN/VS, art. 1 de la loi valaisanne du 11 février 2009 fixant le tarif des frais et dépens devant les autorités judiciaires ou administratives (LTar/VS RSVS 173.8) et art. 1, 4, 5 et 88 LPJA/VS.
5.1. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable. Pour que cette décision soit censurée, encore faut-il qu'elle s'avère arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 3.4 p. 53 et les références citées).
5.2. Dans l'arrêt entrepris, le Tribunal cantonal a retenu que l'art. 45 al. 3 RLN/VS, qui prévoit que toute inscription ou avis émanant de la Centrale des testaments donne lieu à la perception d'un émolument de 20 fr., n'identifie pas le débiteur. Toutefois, il a mis en relation cette disposition avec l'art. 88 al. 1 LPJA/VS, qui dispose notamment que celui qui provoque ou requiert une démarche de l'administration acquitte l'émolument fixé par l'autorité. Il a retenu que cette dernière disposition peut, conjointement à d'autres figurant dans des lois distinctes, valablement servir à désigner les débiteurs d'émoluments et de débours. Selon l'autorité précédente, attendu que l'art. 88 al. 1 LPJA/VS " rattache explicitement la qualité de débiteur au fait de demander ou de provoquer une démarche de l'administration, son champ d'application va au-delà du cercle des affaires administratives que l'art. 4 LPJA/VS restreint en principe à celles de ces affaires où l'autorité rend des décisions dans l'acception de l'art. 5(LPJA/VS) ". Le Tribunal cantonal a encore cité l'<ref-law>, qui prévoit que les cantons pourvoient à ce que les officiers publics conservent en original ou en copie les testaments qu'ils ont reçus, ou les remettent en dépôt à une autorité chargée de ce soin, et l'<ref-law>, qui dispose quant à lui que les cantons pourvoient à ce que l'acte, ouvert ou clos, puisse être remis à une autorité chargée d'en recevoir le dépôt. Il a conclu que l'art. 45 RLN/VS " a clairement pour but de garantir et de faciliter l'exécution d'obligations [qu'] impose le droit fédéral [aux notaires]".
5.3. Selon le recourant, c'est de manière arbitraire que le Tribunal cantonal a procédé à une " application par analogie " d'autres lois que le RLN/VS pour mettre les émoluments en cause à sa charge. De plus, même si la LPJA/VS venait à s'appliquer, le recourant estime ne pas avoir provoqué ou requis une démarche de la Centrale des testaments. Citant la jurisprudence <ref-ruling>, il affirme que l'art. 88 al. 1 LPJA/VS n'est pas assez précis pour rendre personnellement un notaire débiteur.
5.4. Afin de comprendre pourquoi un tel émolument est prélevé, il est utile d'apprécier les rôles de la Centrale des testaments, respectivement des notaires dans la conservation des actes pour cause de mort en Valais.
Le notaire est un organe de la juridiction gracieuse exerçant une fonction étatique, il est un officier public exerçant son ministère de manière indépendante, sous la surveillance de l'Etat (art. 3 al. 1 et 2 phr. 1 de la loi valaisanne du 15 décembre 2004 sur le notariat [LN/VS; RSVS 178.1]; cf. art. 504 et 505 al. 2 CC; <ref-ruling> consid. 4a p. 299 s.; MICHEL MOSER, Le droit notarial en Suisse, 2 e éd. 2014, n. 53; WOLF/PFAMMATTER, in Kommentar zum Notariatsrecht des Kantons Bern, 2009, n. 5 s. ad art. 2 LN). Il est donc placé dans un rapport de droit public spécial vis-à-vis du canton du Valais, ce qui le rend débiteur de certaines obligations à l'égard de l'Etat. Ainsi, lorsqu'un notaire devient dépositaire d'un acte pour cause de mort (cf. MICHEL MOSER, op. cit., n. 269), il doit annoncer l'existence de cet acte à la Centrale des testaments (cf. art. 44 al. 1 RLN/VS; MICHEL MOSER, op. cit., n. 270). Le notaire doit également être attentif aux éventuels décès qui pourraient intervenir chez les personnes dont il a instrumenté les dispositions pour cause de mort (cf. art. 44 al. 2 RLN/VS; MICHEL MOSER, op. cit., n. 286) et informer l'autorité compétente dès qu'il a connaissance d'un tel événement (cf. art. 44 al. 3 RLN/VS). Pour faciliter la réalisation de cette tâche, le canton du Valais a mis en place une institution spécifique, la Centrale des testaments. Celle-ci reçoit directement et immédiatement tout acte de décès de la part du service dont relève l'état civil (cf. art. 45 al. 1 RLN/VS), ce qui contribue à diminuer le risque de voir des dispositions pour cause de mort demeurer inconnues au moment du décès et assure la sécurité du droit (cf. MICHEL MOSER, op. cit., n. 287a). En connaissant l'identité des défunts et en étant en possession des noms des personnes ayant fait instrumenter des dispositions pour cause de mort, la Centrale des testaments vient donc en aide au notaire et lui signale, par un avis, le décès de personnes dont celui-ci est dépositaire d'acte pour cause de mort (art. 45 al. 2 RLN/VS). Ceci a également pour effet de limiter les risques de voir la propre responsabilité du notaire engagée pour avoir omis d'effectuer l'avis obligatoire à l'autorité compétente au moment du décès (MICHEL MOSER, op. cit., n. 273; KARRER/PETER VOGT/LEU, in Basler Kommentar, Zivilgesetzbuch II, Honsell/Vogt/Geiser [éd.], 5 e éd. 2015, n. 22 ad <ref-law>). Les art. 44 et 45 RLN/VS définissent donc ensemble les devoirs respectifs des notaires et de la Centrale des testaments et s'appliquent conjointement à la procédure d'avis d'existence de disposition pour cause de mort.
Dans ces conditions, l'interprétation donnée par le Tribunal cantonal à l'art. 88 al. 1 LPJA/VS n'est pas insoutenable, même si une autre interprétation serait également concevable. Dans la mesure où le notaire fait partie du système étatique réglant la conservation, puis la communication des dispositions pour cause de mort, on peut admettre sans arbitraire qu'il provoque une démarche de l'administration. En effet, en acceptant d'être dépositaire d'un acte pour cause de mort, il accepte également que la Centrale des testaments l'informe en cas de décès et lui fasse payer ce service. Contrairement à la situation de fait prévalant dans la jurisprudence fédérale citée par le recourant (cf. <ref-ruling>), l'expression générale de l'art. 88 al. 1 LPJA/VS n'est pas imprécise en tant qu'elle est appliquée au cas d'espèce. La " personne qui provoque ou requiert une démarche de l'administration " est ici clairement définie.
Pour le surplus, dans la mesure où le recourant invoque une application arbitraire de l'art. 1 al. 1 LTar/VS, son grief doit être écarté, cette disposition n'ayant été citée qu'à titre d'exemple par l'autorité précédente. Au demeurant, sa motivation ne répond pas aux conditions du principe d'allégation de l'<ref-law>.
5.5. Dans ces conditions, c'est sans arbitraire que le Tribunal cantonal a jugé que l'art. 88 al. 1 LPJA/VS permettait de déterminer le débiteur de l'émolument prévu à l'art. 45 al. 3 RLN/VS et a considéré que le recourant devait s'acquitter des émoluments en cause.
6.
Le recourant se plaint ensuite de la violation du principe de la couverture des frais.
6.1. Selon le principe de la couverture des frais, le produit global des contributions ne doit pas dépasser, ou seulement de très peu, l'ensemble des coûts engendrés par la branche ou subdivision concernée de l'administration, y compris, dans une mesure appropriée, les provisions, les amortissements et les réserves. De telles réserves financières violent le principe précité lorsqu'elles ne sont plus justifiées objectivement, c'est-à-dire lorsqu'elles excèdent les besoins futurs prévisibles estimés avec prudence (cf. arrêt 2C_768/2015 du 17 mars 2017 consid. 5.2.1 et les références citées, destiné à publication).
6.2. Il ressort des faits tels qu'établis sans arbitraire par le Tribunal cantonal (cf. consid. 3.3 ci-dessus) que, pour l'année 2013, les recettes de fonctionnement de la Centrale des testaments étaient de 73'468 fr. 80, alors que les charges de fonctionnement s'élevaient à 74'074 fr 85. Pour l'année 2014, ces montants étaient de 71'453 fr, respectivement 72'667 fr. 30. A l'instar de ce qu'a relevé l'autorité précédente, on doit donc constater que le produit global des contributions ne dépassait pas l'ensemble des coûts. Dans ces conditions, il ne saurait être question de violation du principe de la couverture des frais.
7.
Sur le vu de ce qui précède, le recours doit être rejeté. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service des registres fonciers et de la géomatique, au Conseil d'Etat et au Tribunal cantonal du canton du Valais.
Lausanne, le 7 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette