Faits :
A.
Le 19 mars 2008, B.X._ et A.X._ ont acquis deux biens-fonds figurant au cadastre de la commune de Y._. Sur une parcelle se trouvait une villa mitoyenne et une piscine, sur l'autre un cabanon de jardin. Le prix de vente se montait à 730'000 fr. Par courrier du 14 avril 2008, le conservateur du registre foncier a informé la notaire ayant instrumenté la vente que selon le plan d'aménagement du territoire, l'un des biens-fonds était en zone d'utilité publique, alors que l'autre l'était partiellement et que la commune de Y._ disposait d'un droit de préemption légal en cas de transfert de ces immeubles. La commune de Y._ a renoncé à faire usage de ce droit.
B.
Le 12 février 2009, les époux X._ ont formulé des prétentions financières auprès du Conseil communal de Y._ à hauteur de 164'244 fr. 40 pour le remboursement du préjudice subit en raison de l'absence de mention au registre foncier de l'affectation des parcelles en zone d'utilité publique. Selon eux, la commune était légalement tenue de procéder à cette mention. Ils ont parallèlement ouvert action civile contre le vendeur et la notaire.
Le 12 mai 2009, niant l'existence d'un acte illicite et d'un lien de causalité, la commune a refusé d'entrer en matière sur les prétentions des époux X._. Par acte du 12 août 2009, ces derniers ont ouvert action en dommages-intérêts à l'encontre de la commune devant le Tribunal administratif de la République et canton de Neuchâtel (actuellement la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel; ci-après: le Tribunal cantonal).
Le Tribunal cantonal a suspendu la procédure jusqu'à droit connu dans la contestation de droit civil ouverte contre le vendeur et la notaire. Par arrêt du 20 mai 2014, la Ire Cour de droit civil du Tribunal fédéral a partiellement admis le recours en matière civile interjeté contre l'arrêt de la Cour d'appel civil du Tribunal cantonal (arrêt 4A_619/2013 du 20 mai 2014). Le Tribunal fédéral a annulé l'arrêt précité, rejeté la demande en paiement contre la notaire et, pour le surplus, renvoyé la cause à la Cour d'appel civil du Tribunal cantonal pour qu'elle rende une nouvelle décision.
Le Tribunal cantonal a repris la procédure d'action de droit administratif ouverte contre la commune de Y._ le 7 octobre 2014. Par arrêt du 9 janvier 2015, il a rejeté la demande des époux X._. Il a jugé que l'omission de la commune de faire inscrire son droit de préemption au registre foncier ne constituait pas un acte illicite. Il n'a par conséquent pas examiné les autres conditions de la responsabilité.
C.
Agissant par la voie du recours en matière de droit public, B.X._ et A.X._ demandent en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 9 janvier 2015 du Tribunal cantonal et de renvoyer la cause à celui-ci pour nouvelle décision dans le sens des considérants. Ils se plaignent de constatation inexacte des faits et d'application arbitraire du droit cantonal.
Le Tribunal cantonal et la commune de Y._ concluent tous deux au rejet du recours.

Considérant en droit :
1.
Le litige porte sur la responsabilité de la commune de Y._ à l'égard des recourants en vertu de la loi neuchâteloise du 26 juin 1989 sur la responsabilité des collectivités publiques et de leurs agents (LResp/NE, RSN 150.10). Il relève donc du droit public et l'arrêt attaqué peut en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral (cf. <ref-law>). L'arrêt entrepris, qui déboute les demandeurs de leur action en responsabilité, est une décision finale rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF et <ref-law>). Les recourants sont légitimés à agir sur la base de l'<ref-law>. Déposé en temps utile (cf. <ref-law>) et dans les formes requises (cf. <ref-law>), le recours en matière de droit public est également recevable au regard de l'<ref-law>, dès lors que la valeur limite de 30'000 fr. exigée dans le domaine de la responsabilité étatique est largement dépassée.
2.
Sans toutefois faire référence à l'<ref-law>, les recourants se plaignent de constatation inexacte des faits.
2.1. Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit aussi rendre vraisemblable par une argumentation répondant aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 9.2.3.6 p. 96 s. et les références citées). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2 p. 278 s.; <ref-ruling> consid. 1.2.2 p. 252).
2.2. En l'occurrence, les recourants expliquent que le Tribunal cantonal a faussement retenu qu'une partie de l'une des deux parcelles en cause avait déjà été reclassée en "zone des abords du bourg". Selon eux, cette erreur peut, dans le futur, conduire à une réduction du montant des prétentions.
Contrairement à ce que semblent penser les recourants, le fait que l'une de leurs parcelles ait ou non été classée en "zone des abords du bourg" n'a aucune incidence sur la présente cause qui ne traite que du caractère illicite de l'omission de la commune de Y._ de faire inscrire son droit de préemption au registre foncier. Ils le sous-entendent d'ailleurs eux-mêmes en mentionnant que l'incidence n'est que potentielle et future. Par conséquent, leur recours, en tant qu'il porte sur une constatation inexacte des faits pertinents, doit être rejeté.
3.
Les recourants font ensuite grief au Tribunal cantonal d'avoir arbitrairement appliqué le droit cantonal.
3.1. Ils estiment que l'art. 51 al. 2 de la loi neuchâteloise du 2 octobre 1991 sur l'aménagement du territoire (LCAT/NE; RSN 701.0), qui dispose que la commune doit faire mentionner au registre foncier l'inclusion d'un immeuble dans une zone d'utilité publique, a été interprété arbitrairement par le Tribunal cantonal. Selon eux, ce dernier ne pouvait pas faire une interprétation historique de la disposition, alors que l'interprétation littérale était suffisamment claire.
3.2. L'examen de l'interprétation d'une loi cantonale par le Tribunal fédéral est limité à l'arbitraire (cf. <ref-ruling> consid. 2 p. 149 s.; <ref-ruling> consid. 2 p. 209 s.). Tout d'abord, l'autorité précédente a correctement rappelé la jurisprudence relative à la condition de l'illicéité en cas d'omission (<ref-ruling> consid. 4.1 p. 317 s. et les références citées) et porté l'attention des recourants sur le fait que pour qu'une omission constitue un acte illicite, il fallait qu'une norme juridique sanctionnant explicitement l'omission commise ou imposant à l'Etat de prendre la mesure omise en faveur du lésé ait existé. A juste titre, le Tribunal cantonal a en outre relevé que lorsque le fait dommageable constitue une atteinte patrimoniale, comme c'est le cas en l'espèce, l'illicéité suppose qu'il existe un "rapport d'illicéité", soit que l'auteur ait violé une norme de comportement ayant pour but de protéger le bien juridique en cause.
Fort de ces considérations théoriques, c'est sans arbitraire que le Tribunal cantonal a jugé, sur la base des travaux préparatoires relatifs à l'ancien art. 51 al. 2 LCAT/NE, que cette disposition avait toujours pour but premier de permettre aux communes d'être informées du transfert de propriété d'une parcelle située en zone d'utilité publique et de leur garantir l'exercice de leur droit de préemption légal. Les explications de l'autorité précédente relatives à l'esprit de la loi demeuré inchangé, malgré une modification de sa lettre passant d'une formulation potestative à une formulation impérative, sont pleinement soutenables. Par conséquent, c'est également sans arbitraire que, faisant application de la jurisprudence précitée, l'autorité précédente a jugé que la norme de droit cantonal obligeant les communes à faire inscrire au registre foncier leurs droits de préemption n'avait pas pour objectif prioritaire de protéger des acheteurs potentiels contre l'éventuelle survenance d'un préjudice patrimonial (relation d'illicéité), mais qu'il s'agissait-là tout au plus d'un effet indirect insuffisant en l'espèce. Ainsi, en concluant que la commune n'avait pas de position de garant envers les recourants dans cette affaire, et qu'il ne pouvait par conséquent être question d'un acte illicite de la part de la commune, le Tribunal cantonal n'est pas tombé dans l'arbitraire. Le recours doit ainsi être entièrement rejeté.
4.
Succombant, les recourants supportent les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à la mandataire de la commune de Y._ et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lausanne, le 28 mai 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette