Faits :
A.
Par jugement du 18 décembre 2012, le Tribunal de police du Littoral et du Val-de-Travers a libéré X._ de l'accusation de gestion déloyale des intérêts publics et de gestion déloyale et lui a alloué une indemnité pour les dépenses occasionnées par l'exercice de ses droits de procédure de 8820 francs. Dans le cadre du même jugement, A._ a été condamné pour gestion déloyale des intérêts publics à une peine privative de liberté de 18 mois et à 100 jours-amende à 10 fr. avec sursis pendant deux ans.
B.
Par jugement du 22 janvier 2014 la Cour pénale du Tribunal cantonal neuchâtelois a admis les appels de la commune de Y._ et du Ministère public, condamné X._ pour gestion déloyale des intérêts publics à 45 jours-amende à 35 fr. avec sursis pendant deux ans, mis à charge de X._ une part des frais de première instance de 1000 fr. et une part des frais de deuxième instance de 1350 fr. et alloué, à charge de X._, une indemnité de dépens globale de 2500 fr. à la commune de Y._.
En bref, il en ressort les éléments suivants.
Entre le 7 mars 2008 et le 27 octobre 2010, X._, en sa qualité de président de la commune de Y._ et chef du dicastère de l'administration et des finances, a octroyé des prêts, généralement intitulés improprement « avances de salaires », à trois employés communaux. Il a ainsi accordé, à A._, administrateur communal, un montant de 27'000 fr. le 7 mars 2008 pour des frais dentaires et 40'000 fr. le 19 avril 2010 pour lui permettre d'assumer des frais liés à la vente de sa maison, à B._, un montant de 23'000 fr. le 2 juillet 2010 pour l'achat d'une moto et à C._, un montant de 30'025 fr. 85 le 27 octobre 2010 pour lui permettre de s'acquitter de factures en souffrance. Il n'a exigé aucun intérêt, ni aucune garantie et n'a pas surveillé le remboursement. Seule B._ a remboursé le montant dû.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est acquitté de toute infraction, subsidiairement, à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
1.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 1.3.1 p. 68 et les références citées). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356 et les références citées).
1.2. Le recourant débute ses écritures par une présentation personnelle des faits. Dans la mesure où il s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, son exposé est appellatoire, partant irrecevable.
2.
Le recourant conteste sa condamnation pour gestion déloyale des intérêts publics. Il nie avoir accompli un acte juridique et avoir lésé l'intérêt public.
2.1. Aux termes de l'<ref-law>, les membres d'une autorité et les fonctionnaires qui, dans le dessein de se procurer ou de procurer à un tiers un avantage illicite, auront lésé dans un acte juridique les intérêts publics qu'ils avaient mission de défendre se rendent coupables de gestion déloyale des intérêts publics. Comme le relève la jurisprudence, pour que cette infraction puisse être retenue, il faut que de tels intérêts, qui peuvent être financiers ou moraux (<ref-ruling> consid. 4c p. 289; <ref-ruling> consid. 1b p. 136), soient lésés par un acte juridique ou par les effets de ceux-ci (<ref-ruling> consid. 1 p. 170; <ref-ruling> consid. 2 p. 411 s.).
2.2. La cour cantonale a tout d'abord rappelé que le recourant, en qualité de président de la commune de Y._, exerçait la surveillance générale de l'administration communale en application de l'art. 62 al. 2 du Règlement général de la commune de Y._. Selon l'art. 64 du même Règlement, chaque chef de dicastère était responsable de sa gestion envers le Conseil communal. Selon les indications du Chef du Service des communes, une avance sur des salaires futurs devait être considérée comme un prêt, qui correspondait à un placement de capital. D'après l'art. 46 de la loi sur les communes (LCo; RS/NE 171.1), les conseils communaux plaçaient les capitaux disponibles de la commune et de ses fonds en valeurs de tout repos, soit en prêts aux particuliers garantis par hypothèques suffisantes et en premier rang. L'art. 73 al. 2 du Règlement sur les finances et la comptabilité des communes (RFC; RS/NE 171.15) précisait à cet égard que les prêts aux particuliers n'offraient pas la garantie exigée par l'art. 46 LCo et qu'ils devaient dès lors être autorisés par arrêté du Conseil général soumis à la sanction du Conseil d'Etat.
La cour cantonale a en outre indiqué que l'autorité de première instance avait retenu que les versements de 27'000 fr. en faveur de A._ et ceux effectués en faveur de B._ et C._ étaient des prêts et qu'il n'y avait pas lieu de revenir sur ces points. S'agissant du montant de 40'000 fr. versé à A._, la cour cantonale a relevé que ce versement avait été effectué le 22 avril 2010 au débit du compte de la commune, soit trois jours après que le recourant avait contresigné sous une mention « Vu » un ordre de paiement de 40'343 fr. 70 en faveur de Me D._ et sur lequel était écrit à la main « Avance retour caution vente Imm. CHF 40'000.00 ». Les intéressés avaient toujours évoqué le versement de cette somme comme un prêt, pour lequel un accord oral avait été obtenu préalablement. Autrement dit, le versement des 40'000 fr. octroyés à A._ au débit du compte de la commune de Y._ était le fruit d'une manifestation concordante et réciproque des volontés des intéressés. Il se fondait ainsi sur un contrat de droit privé, à savoir un contrat de prêt, qui revêtait la qualité d'acte juridique au sens de l'<ref-law>.
2.3. Le recourant reproche à la cour cantonale d'avoir arbitrairement omis certains faits. Toutefois, il se contente de les exposer sans démontrer en quoi la cour cantonale les aurait arbitrairement omis. Sa critique relève d'une argumentation purement appellatoire et est irrecevable. Pour le surplus, la libre discussion des faits et les critiques qu'il articule en se fondant sur un état de fait autre que celui retenu par la cour cantonale sont également irrecevables.
2.4. Le recourant soutient que c'est arbitrairement que la cour cantonale aurait retenu que le paiement du montant de 40'343 fr. en faveur de A._ était un prêt. Il n'aurait fait qu'apposer, trois semaines plus tard, un « vu » sur le document ce qui ne constituerait qu'une prise de connaissance, soit un acte unilatéral, et non un contrat. La cour cantonale aurait en outre arbitrairement retenu que les parties avaient un accord oral. Ce faisant, le recourant ne fait qu'opposer sa propre appréciation des faits et des preuves à celle de la cour cantonale sans démontrer en quoi celle-ci serait manifestement insoutenable. Pour le surplus, sur la base de l'accord oral des parties et des circonstances retenues par la cour cantonale, c'est à bon droit que celle-ci a estimé que les parties avaient conclu un contrat de prêt. En effet, les parties se sont réciproquement mises d'accord sur le fait que la commune transférait à A._ un montant de 40'000 fr. à charge pour lui d'en rendre autant (cf. <ref-law>). Il en va de même s'agissant des autres cas, ce que le recourant ne conteste pas. Un contrat de droit privé conclu par une collectivité publique constitue en outre un acte juridique au sens de l'<ref-law> (cf. MARCEL NIGGLI, in Basler Kommentar, Strafrecht II, 3 e éd. 2013, n o 19 ad <ref-law>; TRECHSEL/VEST, Schweizerisches Strafgesetzbuch, Praxiskommentar, 2 e éd. 2013, n° 2 ad <ref-law>; DUPUIS ET AL., Petit Commentaire, Code pénal, 2012, n o 18 ad <ref-law>; BERNARD CORBOZ, Les infractions en droit suisse, vol. II, 2010, n o 8 ad <ref-law>). La cour cantonale n'a ainsi pas violé le droit fédéral en retenant que les contrats de prêt étaient des actes juridiques au sens de l'<ref-law>.
2.5. S'agissant de la lésion des intérêts publics de la commune, la cour cantonale a retenu, à titre de motivation principale, que trois des quatre prêts n'avaient pas été remboursés et que le patrimoine de la commune était encore lésé de 90'108 fr. 60, sans compter les intérêts, au jour du dépôt de l'appel. Ce dommage avait été causé par les prêts. Le fait de disposer d'un titre valant reconnaissance de dette et permettant d'obtenir une mainlevée provisoire au sens de l'<ref-law> n'était pas aussi avantageux que de disposer de la somme correspondante en caisse, d'autant plus lorsque les débiteurs étaient douteux. Il ne pouvait être retenu, comme l'avait fait le tribunal de première instance, que la lésion n'avait pas été causée par les prêts eux-mêmes mais par le fait que le comptable de la commune n'avait pas cherché à en obtenir le remboursement, ce d'autant moins que le recourant avait le devoir de recouvrer les dettes de la commune en qualité de président et de chef du dicastère des finances. Enfin, conformément à la jurisprudence, le patrimoine pouvait déjà être lésé lorsque la mise en danger de celui-ci était telle qu'elle avait pour effet d'en diminuer la valeur économique, ce qui était le cas en l'espèce. S'agissant du prêt de 23'000 fr. en faveur de B._ qui avait été remboursé, la lésion consistait non seulement dans le fait qu'il n'avait pas porté intérêt, mais également dans le fait qu'au moment de sa conclusion, le patrimoine de la commune avait été mis en danger. En effet, compte tenu de l'importance du montant prêté, de l'absence de garantie et des échéances prévues, il n'était de loin pas exclu que ce prêt ne soit jamais intégralement remboursé.
Par surabondance de motifs, la cour cantonale a constaté qu'il fallait admettre que les quatre prêts consentis par le recourant avaient également lésé l'intérêt public idéal. En effet, le public attendait des autorités, à juste titre, une gestion rigoureuse des ressources et non leur utilisation au profit d'intérêts particuliers. Le scandale suscité par cette affaire à l'époque démontrait à quel point l'attitude des prévenus, y compris celle du recourant, avait sérieusement écorné la confiance du public envers la commune et ses représentants, confiance que l'<ref-law> avait notamment pour objectif de protéger.
2.6. Le recourant fait grief à la cour cantonale d'avoir retenu une lésion idéale des intérêts publics. Il soutient qu'il serait douteux que le fait d'accorder de rares prêts à des employés communaux dont le travail était d'excellente qualité, pour des motifs justifiés et qui avaient fait l'objet de plan de remboursement par retenue salariale, serait de nature à écorner la confiance des administrés en leurs représentants. Ce faisant, le recourant ne fait qu'opposer sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire et son grief est irrecevable. Au vu des éléments retenus par la cour cantonale, celle-ci pouvait, sans violer le droit fédéral, considérer que l'intérêt public moral était également lésé (cf. supra consid. 2.1).
Dans la mesure où le recourant conteste l'existence d'un lien de causalité entre la lésion et son comportement ainsi que le montant de la lésion sur la base des faits qu'il a librement invoqués dans la première partie de son recours (cf. supra consid. 2.3), il s'écarte, de manière irrecevable des faits constatés par la cour cantonale. Les critiques qu'il articule en se fondant sur un état de fait autre que celui retenu par la cour cantonale sont ainsi irrecevables.
Dès lors que les critiques du recourant se fondent sur un état de faits différent de celui retenu par la cour cantonale, il ne formule, de la sorte, aucun grief recevable tiré de l'application erronée du droit matériel.
3.
Le recourant conteste la réalisation de l'élément subjectif.
3.1. La gestion déloyale des intérêts publics est une infraction intentionnelle. Le dol éventuel suffit.
Il y a dol éventuel lorsque l'auteur envisage le résultat dommageable, mais agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 4.2.3 p. 4). En l'absence d'aveux, le juge doit, pour déterminer si l'auteur s'est accommodé du résultat pour le cas où il se produirait, se fonder sur des éléments extérieurs. Parmi ceux-ci figurent la gravité de la violation du devoir de prudence et l'importance du risque que le résultat se réalise (<ref-ruling> consid. 2.3.2 et 2.3.3 p. 17 s. et les arrêts cités). Plus ce risque est élevé et plus lourde est la violation du devoir de prudence plus on pourra considérer que l'auteur s'est accommodé du résultat pour le cas où il se produirait (<ref-ruling> consid. 3.2.2 p. 29 et les arrêts cités). Ainsi, le dol éventuel peut notamment être retenu lorsque la réalisation du résultat devait paraître suffisamment vraisemblable à l'auteur pour que son comportement ne puisse raisonnablement être interprété que comme une acceptation de ce risque (<ref-ruling> consid. 4.2.3 p. 4; <ref-ruling> consid. 5.3 p. 226 et les arrêts cités).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève de l'établissement des faits, qui lient le Tribunal fédéral (<ref-law>). Est en revanche une question de droit, celle de savoir si l'autorité cantonale s'est fondée sur une juste conception de la notion d'intention, notamment de dol éventuel, et si elle l'a correctement appliquée sur la base des faits retenus et des éléments à prendre en considération (<ref-ruling> consid. 4.1 p. 4).
3.2. En substance, la cour cantonale a retenu que le recourant avait une longue expérience au sein de la commune, qu'il savait que le conseil communal disposait de montants de 10'000 fr. au maximum pour les dépenses et que, pour le surplus, il fallait passer par le conseil général. Même si on pouvait comprendre qu'il ait dû, dans une certaine mesure, faire confiance à l'administrateur communal et au comptable pour mener à bien sa mission, cela ne le dispensait pas pour autant de connaître les réglementations légales en vigueur concernant l'octroi d'avances de salaire et la conclusion de prêts. Elle a en outre indiqué qu'au vu de l'importance des montants prêtés, de l'absence de garantie et d'intérêts et de la situation financière délicate dans laquelle se trouvaient les emprunteurs, le recourant devait compter avec le fait que ces prêts ne seraient pas nécessairement remboursés en totalité et qu'il pourrait en résulter un dommage pour la commune. Son désintérêt sur l'état de remboursement des prêts n'avait pas arrangé les choses. La probabilité de concrétisation des risques n'était de loin pas négligeable. Pour ces motifs, il fallait admettre que le recourant devait avoir conscience des risques encourus et s'en était accommodé pour le cas où ils se produiraient, même s'il ne le souhaitait pas.
3.3. Le recourant conteste avoir agi par dol éventuel, pour l'essentiel, non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire, mais sur la base de faits qu'il invoque librement. Ce faisant, le recourant n'articule aucun grief recevable tiré de l'application du droit matériel.
Pour le surplus, le recourant fait valoir qu'il s'était renseigné auprès de A._ qui lui avait confirmé que la simple signature du chef du dicastère des finances était suffisante pour l'octroi d'avances sur salaire et que cela s'était déjà produit par le passé. Le recourant semble ainsi vouloir soutenir qu'il n'avait pas conscience de l'illicéité de l'avantage accordé aux employés emprunteurs.
Il ressort du jugement cantonal que le recourant a exercé des fonctions politiques dès 1984. Il avait été conseiller communal pour le dicastère des travaux publics, de l'environnement et des forêts de 2000 à 2007, année durant laquelle il a repris le dicastère de l'administration, des finances et de l'aménagement du territoire et la présidence de la commune. Il avait en outre déclaré qu'il savait que le conseil communal disposait de montants de 10'000 fr. au maximum pour les dépenses et que pour le surplus, il fallait passer par le conseil général. Sur la base de ces éléments, on ne saurait reprocher à la cour cantonale d'avoir retenu que le recourant ne pouvait ignorer le caractère illicite des prêts accordés aux employés. Celui-ci ne peut tirer argument du fait qu'il s'est renseigné auprès de A._. Il se devait en effet de traiter avec circonspection les informations fournies par le premier bénéficiaire des prêts litigieux. Au surplus, la cour cantonale s'est fondée sur des éléments extérieurs pertinents pour établir la volonté du recourant, ce que celui-ci ne conteste d'ailleurs pas. Il ne démontre pas davantage en quoi il était manifestement insoutenable de retenir, sur la base de l'importance des montants, de l'absence de garantie et d'intérêts et de la situation financière délicate des débiteurs, qu'il ne pouvait ignorer que les prêts ainsi accordés lésaient les intérêts publics de la commune qu'il était chargé de protéger en qualité de président et de chef du dicastère des finances. Il s'ensuit que le recourant ne peut rien déduire en sa faveur des éléments qu'il invoque en relation avec le dol éventuel. La cour cantonale n'en a pas pas méconnu la notion juridique.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens au Ministère public (<ref-law>), ni à l'intimée qui n'a pas été invitée à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 6 août 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le juge Présidant : La Greffière :
Denys Livet