Faits :
A.
Les membres de la famille A._, en particulier B.A._, la fondation de famille A._ et la société X._ SA ont été, durant plusieurs années, en relation d'affaires avec Y._, notaire dans le canton de Vaud. Ce dernier a en particulier été administrateur de la société précitée et mandaté pour effectuer de nombreuses opérations ministérielles et non ministérielles. Il a notamment mis en valeur des terrains dans le canton du Valais, instrumenté différents actes et contrats. Ces opérations ont fait l'objet d'une note d'honoraires et de débours du 26 août 2008, d'un montant de 70'684 fr., adressée à la société X._ SA.
Faute de paiement, un premier commandement de payer a été notifié à la société, le 17 mars 2009. Celle-ci a fait opposition. Parallèlement, une requête de conciliation a été déposée devant le juge. Celle-ci concluait au paiement d'un montant de 70'684 fr. à l'encontre de la société X._ SA, des époux A._ et de la fondation de famille A._, solidairement entre eux. Un nouveau commandement de payer a été notifié à la société le 19 avril 2013. Les mois suivants, deux autres commandements de payer ont été notifiés à B.A._ et à la fondation de famille A._ pour les prestations les concernant. Ils ont tous deux fait opposition.
Le 9 octobre 2013, la note d'honoraires et de débours litigieuse a été scindée en deux notes distinctes, afin de tenir compte séparément des opérations relevant des époux A._ et de la société X._ SA. Le montant à acquitter par B.A._ a été arrêté à 5'153 fr. 90.
B.
Le 30 avril 2014, Y._ a déposé une demande de modération de la note d'honoraires et de débours du 9 octobre 2013 adressée à B.A._ auprès de la Chambre des notaires du canton de Vaud (ci-après: la Chambre des notaires). Il a été entendu le 16 mars 2015 par deux notaires délégués. Par décision du 17 juin 2015, la Chambre des notaires a modéré la note d'honoraires précitée, confirmant le montant de 5'153 fr. 90. Elle a en outre mis les frais et émoluments de la modération, par 300 fr., à la charge de l'intéressé. B.A._ a contesté ce prononcé auprès de la Chambre des recours civile du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Par arrêt du 16 décembre 2015, le Tribunal cantonal a rejeté le recours de B.A._. Il a jugé en bref que la Chambre des notaires avait statué dans une composition régulière et que le fait de ne pas avoir permis à l'intéressée d'assister à l'audition du notaire constituait certes une violation du droit d'être entendu, mais que cette violation avait été réparée. Au surplus, le Tribunal cantonal a considéré que la Chambre des notaires était compétente aussi bien pour statuer sur des opérations professionnelles, que sur des opérations ministérielles.
C.
Agissant par la voie, subsidiaire, du recours constitutionnel, B.A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 16 décembre 2015 et de renvoyer la cause à celui-ci pour nouvelle décision dans le sens des considérants; subsidiairement de réformer l'arrêt précité et de réduire la note d'honoraires de Y._ du 9 octobre 2013 à 2'400 fr. hors TVA. Il se plaint de violation des garanties de procédure judiciaire, de violation de son droit d'être entendu et d'application arbitraire du droit cantonal.
Par ordonnance du 18 avril 2016, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
La Chambre des notaires et Y._ concluent tous deux au rejet du recours. Le Tribunal cantonal ne s'est pas déterminé. Dans des observations finales, B.A._ a confirmé ses conclusions. Il a encore spontanément transmis un courrier dans lequel il demande au Tribunal fédéral de procéder à des mesures d'instruction.

Considérant en droit :
1.
La présente cause, qui porte sur la modération d'honoraires de notaire, relève du droit public (<ref-law>), comme cela ressort en particulier de l'art. 114 al. 1 phr. 1 de la loi vaudoise du 29 juin 2004 sur le notariat (LNo/VD; RSVD 178.11), qui prévoit que la rémunération du notaire pour son activité ministérielle est un émolument de droit public fixé par un tarif établi par le Conseil d'Etat (cf. arrêt 2P.36/2006 du 3 juillet 2006 consid. 1.1). Or, le recourant a interjeté un recours constitutionnel subsidiaire, estimant que la valeur litigieuse pour déposer un recours en matière civile n'était pas atteinte, se fiant en cela à la voie de droit indiquée dans l'arrêt attaqué. Cette fausse indication n'entraîne aucun préjudice pour le recourant. En effet, selon la jurisprudence, l'intitulé erroné d'un recours n'influence pas sa recevabilité, pour autant que l'écriture remplisse les conditions formelles de la voie de droit qui est ouverte (cf. <ref-ruling> consid. 1.2 p. 302 s.; <ref-ruling> consid. 2.1 p. 147 s.). Le recours en matière de droit public est ouvert en l'espèce (<ref-law> a contrario).
Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
2.
2.1. Sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal (ou communal) en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>).
En l'espèce, le litige porte sur la modération d'honoraires de notaire prévue par LNo/VD. Partant, la cognition du Tribunal fédéral est limitée aux griefs du recourant qui répondent aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 382 s.; arrêt 2C_449/2013 du 21 février 2014 consid. 1.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
3.
Dans un grief d'ordre formel, le recourant fait valoir une violation de l'art. 30 al. 1 Cst. Selon lui, c'est de manière arbitraire que le Tribunal cantonal a jugé que la Chambre des notaires avait statué "par délégation", alors qu'à son avis, seule la Chambre in corpore serait compétente selon la LNo/VD.
3.1. Selon son texte clair, l'art. 30 al. 1 Cst. ne s'applique qu'aux autorités ou magistrats qui exercent des fonctions juridictionnelles, le critère déterminant étant la nature fonctionnelle et non organique de l'autorité (<ref-ruling> consid. 2b p. 198 s. et les références citées; arrêt 2C_187/2011 du 28 juillet 2011 consid. 3.1, non publié in <ref-ruling>). C'est donc à tort que le recourant s'en prévaut pour critiquer la composition de la Chambre des notaires, qui est une autorité administrative (cf. art. 93 al. 1 LNo/VD, selon lequel la Chambre des notaires est présidée par le chef du Département cantonal, ce qui exclut l'existence d'une autorité judiciaire). Cependant, l'art. 29 al. 1 Cst. garantit également au justiciable, comme l'art. 30 Cst. (<ref-ruling> consid. 2.2.3 p. 344), une composition correcte de l'autorité administrative qui rend la décision initiale (cf. arrêts 2C_187/2011 précité consid. 3.1; 2C_865/2010 du 13 avril 2011 consid. 2.4). Partant, pour éviter de tomber dans le formalisme excessif, il convient d'examiner le grief, même si le recourant a invoqué l'art. 30 Cst. et non pas l'art. 29 al. 1 Cst. (cf. arrêt 2C_187/2011 précité consid. 3.1), étant en outre précisé que le Tribunal cantonal a lui-même faussement appliqué l'art. 30 al. 1 Cst.
3.2. L'art. 29 al. 1 Cst. prévoit que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. La jurisprudence a tiré de cette disposition un droit à ce que l'autorité administrative qui statue, le fasse dans une composition correcte et impartiale (<ref-ruling> consid. 3c p. 130; arrêt 1C_388/2009 du 17 février 2010 consid. 4.1; BERNHARD WALDMANN, in Bundesverfassung, WALDMANN/ BELSER/EPINEY [éd.], 2015, n° 34 s. ad art. 29 Cst.). Cette disposition n'exclut pas une certaine liberté dans la composition de l'autorité, par exemple en permettant la participation de suppléants dans le processus décisionnel. Il faut toutefois, lorsque cela est possible, que la composition soit fondée sur des critères objectifs (<ref-ruling> consid. 2.2.1 p. 342 s.).
La composition de l'autorité est définie selon les règles du droit de procédure ou d'organisation. Celui-ci prévoit généralement des quorum afin d'assurer le fonctionnement des autorités collégiales (<ref-ruling> consid. 2.2 p. 342 ss; cf. GEROLD STEINMANN, in Die schweizerische Bundesverfassung, St. Galler Kommentar, EHRENZELLER ET AL. [éd.], 3e éd. 2014, n° 34 ad art. 29 Cst.). L'autorité est ainsi valablement constituée lorsqu'elle siège dans une composition qui correspond à ce que le droit d'organisation ou de procédure prévoit. Par conséquent, lorsqu'un membre de l'autorité est appelé à se récuser ou ne peut, pour une autre raison, prendre part à la décision, il doit, dans la mesure du possible, être remplacé (<ref-ruling> consid. 2.2.1 p. 342 s.; BERNHARD WALDMANN, op. cit., n° 34 ad art. 29 Cst.). Si l'autorité statue alors qu'elle n'est pas valablement constituée, elle commet un déni de justice formel (<ref-ruling> consid. 2.2.1 p. 342 s.; <ref-ruling> consid. 4b p. 131). Si la composition de l'autorité est prévue par le droit cantonal, le Tribunal fédéral ne revoit l'interprétation et l'application de celui-ci que sous l'angle restreint de l'arbitraire (cf. consid. 2.1 ci-dessus). Sous réserve de motivation suffisante (cf. <ref-law>), il examine par contre avec une pleine cognition le point de savoir si la composition correcte de l'autorité administrative telle que prévue par le droit cantonal remplit les conditions de l'art. 29 al. 1 Cst. (<ref-ruling> consid. 3c p. 130). Cela signifie que, dans un premier temps, le Tribunal fédéral examinera si l'interprétation et l'application du droit cantonal par le Tribunal cantonal sont ou non arbitraires (cf. <ref-ruling> consid. 2.4 p. 5). Dans une seconde phase, le Tribunal fédéral contrôlera avec une pleine cognition si l'interprétation et l'application du droit cantonal, reconnues non arbitraires, sont compatibles avec la garantie de l'art. 29 al. 1 Cst. (cf. <ref-ruling> consid. 2.1.2.1 p. 34 s. et les références citées). Il n'examinera toutefois pas la régularité de la composition des instances précédentes, dans la mesure où celle-ci est régie par le droit cantonal, si aucun grief n'est soulevé à cet égard (<ref-law>; <ref-ruling> consid. 1.2 p. 145 s.; relatif à la correcte composition d'une autorité judiciaire selon l'art. 30 al. 1 Cst., mais applicable également à l'art. 29 al. 1 Cst. quant à la composition d'une autorité administrative).
Le droit constitutionnel à une composition correcte de l'autorité décisionnelle est de nature formelle. Sa violation, quelles que soient les chances de succès du recours sur le fond, conduit à l'annulation de l'arrêt entrepris (<ref-ruling> consid. 4d p. 132 s.). Il est en outre exclu d'admettre la réparation d'un tel vice (<ref-ruling> consid. 4d p. 132 s.; GEROLD STEINMANN, op. cit., n° 61 ad art. 29 Cst.; s'agissant de la composition d'une autorité judiciaire, cf. CHRISTIAN WINIGER, Die Organisation des Solothurner Steuergerichts im Lichte ausgewählter verfassungsrechtlicher Grundsätze, in Justice-Justiz-Giustizia 2015/1, n° 25). Cela conduirait en effet à permettre à une autorité décisionnelle de se passer systématiquement de statuer dans une composition conforme au droit.
3.3. En l'occurrence, il ressort de l'arrêt entrepris que la Chambre des notaires a statué "par délégation" et non dans sa composition ordinaire. Ce sont la présidente et deux notaires délégués, c'est-à-dire trois personnes, qui ont rendu la décision initiale.
Le Tribunal cantonal a considéré en substance que l'art. 37 al. 2 du règlement vaudois du 16 décembre 2004 d'application de la loi du 29 juin 2004 sur le notariat (RLNo/VD; RSVD 178.11.1), qui dispose que la Chambre des notaires procède à la modération, mais peut déléguer ses compétences à une commission formée d'au moins deux de ses membres, a son fondement à l'art. 91 al. 1 LNo/VD. Cette disposition prévoit que les autorités de surveillance et disciplinaire, ainsi que leurs délégations, peuvent entendre des témoins ou saisir des documents à titre probatoire ou conservatoire. Se fondant sur cette norme, le Tribunal cantonal a jugé qu'une décision de modération rendue par une délégation de la Chambre des notaires ne violait pas l'art. 30 al. 1 Cst. Le recourant considère cette motivation comme arbitraire et contraire à la disposition constitutionnelle précitée (en l'occurrence à l'art. 29 al. 1 Cst.; cf. consid. 3.1 ci-dessus).
3.4. L'art. 91 al. 1 LNo/VD admet que les autorités agissent par délégation, mais limite expressément cette compétence à l'audition de témoins et à la saisie de documents. En ce sens, l'art. 97 al. 1 LNo/VD prévoit que les enquêtes et les inspections de la Chambre des notaires peuvent être déléguées à un ou plusieurs de ses membres, qui lui font rapport pour décision. Hormis ce cas de figure, la LNo/VD ne prévoit en revanche pas que la Chambre des notaires puisse déléguer la compétence de rendre des décisions, d'autant moins que l'art. 94 al. 1 LNo/VD prévoit que celle-ci ne délibère que si cinq membres sont présents, quorum qui n'est donc pas atteint en cas de délégation à une commission formée de moins de cinq membres. Ainsi, en jugeant que la LNo/VD contient une disposition légale suffisante permettant, par voie réglementaire, de confier une compétence décisionnelle par délégation à au moins deux des membres de la Chambre des notaires, le Tribunal cantonal est tombé dans l'arbitraire. Dans ces conditions, il n'est pas nécessaire d'examiner si la solution retenue constitue en plus une violation de l'art. 29 al. 1 Cst. Le recours doit donc être admis, l'arrêt entrepris annulé et la cause renvoyée à la Chambre des notaires afin qu'elle statue dans une composition conforme à la LNo/VD.
Partant, il n'est pas nécessaire d'examiner les autres griefs invoqués par le recourant.
4.
L'intimé, qui a conclu à l'irrecevabilité, subsidiairement au rejet du recours, supportera les frais judiciaire (<ref-law>). Le canton de Vaud, dont l'intérêt patrimonial n'est pas en cause, est exonéré du paiement de ces frais (<ref-law>). Le canton de Vaud et l'intimé supporteront en outre les dépens du recourant, qui a obtenu gain de cause avec un mandataire professionnel, solidairement entre eux (art. 68 al. 1 et 4 LTF). La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt attaqué est annulé.
2.
La cause est renvoyée à la Chambre des notaires pour qu'elle rende une nouvelle décision.
3.
La cause est renvoyée au Tribunal cantonal, afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de l'intimé.
5.
Une indemnité de partie, arrêtée à 1'500 fr., est allouée au recourant, à charge du canton de Vaud et de l'intimé, solidairement entre eux.
6.
Le présent arrêt est communiqué aux mandataires du recourant et de l'intimé, à la Chambre des notaires et au Tribunal cantonal du canton de Vaud, Chambre des recours civile.
Lausanne, le 29 septembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette