Faits : A. A._ et son épouse ont approché durant l'été 2016 un courtier immobilier mandaté pour la vente d'un terrain qui les intéressait, en l'occurrence l'immeuble xxx du Registre foncier de X._. Lors de la visite de ce terrain, effectuée en présence du courtier et des vendeurs, il a été convenu que ceux-ci remettraient à A._ et son épouse un projet d'acte de vente avec toutes les conditions, y compris un extrait du registre foncier, et qu'à réception de ces documents, ces derniers communiqueraient, à leur tour, leurs conditions d'achat. En date du 18 août 2016, B._, notaire à Y._, a fait parvenir à A._ et à son épouse un projet d'acte de vente ayant pour objet l'immeuble susmentionné. Par courrier du 23 août 2016, A._ et son épouse ont demandé au notaire d'apporter un certain nombre de modifications au projet soumis. Par courriel du même jour, ils ont en outre confirmé le rendez-vous pour l'instrumentation " si les modifications demandées conv[enai]ent aux vendeurs ". Le lendemain, B._ leur a fait parvenir un nouveau projet d'acte. Par courrier du 27 août 2016 adressé au notaire, au vendeur et à l'agent immobilier, A._ et son épouse ont pris acte qu'il n'y avait pas d'accord quant à la vente du terrain, de sorte que les démarches entreprises étaient sans objet et le rendez-vous pour l'instrumentation annulé. Le 21 septembre 2016, B._ a adressé une facture à A._ et à son épouse. Il réclamait 240 fr. à titre d'émoluments et 904 fr. à titre d'honoraires, débours et TVA en sus, pour un montant total de 1'288 fr., plus intérêts à 5 % l'an dès le 22 octobre 2016. B. Le 23 novembre 2016, B._ a déposé une requête de conciliation auprès de la Chambre des notaires fribourgeois. A._ et son épouse ne se sont pas présentés à l'audience, de sorte qu'un acte de non-conciliation a été délivré le 26 avril 2017. Le 23 août 2017, le notaire a déposé une demande en paiement auprès du Tribunal cantonal de l'Etat de Fribourg. Il concluait à ce que A._ et son épouse soient astreints à lui payer le montant de 1'288 fr., plus intérêt à 5 % l'an dès le 22 octobre 2016, sous suite de frais et dépens. En date du 13 décembre 2017, le demandeur a déclaré retirer sa demande en tant qu'elle était dirigée contre l'épouse de A._. Par arrêt du 6 juin 2018, la Cour fiscale du Tribunal cantonal de l'Etat de Fribourg (ci-après: le Tribunal cantonal) a déclaré la demande en paiement déposée devant elle irrecevable en tant qu'elle portait sur les honoraires réclamés à hauteur de 904 fr., plus TVA. Elle l'a en revanche admise en tant qu'elle concernait les émoluments, plus débours et TVA. Elle a ainsi condamné A._ à verser à B._ le montant de 311.70 fr. avec intérêt à 5 % l'an dès le 22 octobre 2016. C. Le 11 juillet 2018, A._ a déposé un recours en matière de droit public au Tribunal fédéral contre l'arrêt du Tribunal cantonal précité. Il demande l'annulation de celui-ci et le renvoi de la cause à l'instance cantonale pour nouvelle décision dans le sens des considérants. Il requiert par ailleurs que lui soit allouée, pour la procédure fédérale, une indemnité de dépens de 1'300 fr., à la charge de B._. Le Tribunal cantonal a renoncé à déposer des observations sur le recours dont il conclut au rejet, se référant entièrement à l'arrêt attaqué. B._ a répliqué. Il conclut également au rejet du recours, ainsi qu'à l'allocation d'une indemnité équitable de 2'500 fr. pour la procédure fédérale introduite devant le Tribunal fédéral. Par courrier du 13 septembre 2018, le recourant a déposé, en complément de son recours, une requête de récusation dirigée à l'encontre du greffier ayant participé au prononcé de l'arrêt cantonal attaqué. Le Tribunal cantonal s'est déterminé sur ce complément au recours. Il conclut à l'irrecevabilité, subsidiairement au rejet de la requête de récusation déposée par A._.