Faits :
A.
X._ est gendarme à la police neuchâteloise et président d'un syndicat.
A.a. Le 15 juillet 2014, il a publié sur son compte Facebook, à propos d'un appareil radar qui avait fait l'objet d'actes de vandalisme le matin du 11 juillet 2014, le texte suivant: " Apparemment c'est officiel vu qu'on entend que ça en ville... : Alors oui, on s'est fait fracasser notre radar remorque à coup de hache... Le radar est bon pour une sérieuse remise en état ! Enquête en cours pour choper l'auteur des dommages... ?? ".
A.b. Le 22 février 2015, X._ a diffusé, en sa qualité de président du syndicat précité, un communiqué de presse relatif à une affaire survenue le matin même à A._, dans le cadre de laquelle quatre gendarmes avaient été blessés.
B.
Par jugement du 9 mai 2016, le Tribunal de police du Littoral et du Val-de-Travers du canton de Neuchâtel a reconnu X._ coupable pour ces deux cas de violation du secret de fonction au sens de l'<ref-law>. Il a prononcé une peine pécuniaire de 30 jours-amende, à 170 fr. le jour avec sursis pendant deux ans, et une peine additionnelle de 600 fr. correspondant en cas de non-paiement fautif à une peine privative de liberté de substitution de 6 jours.
C.
Par jugement du 21 mars 2017, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a rejeté l'appel formé contre cette décision par X._.
D.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut à l'annulation de cette décision, à son acquittement, subsidiairement au renvoi de la cause à l'une ou l'autre des autorités précédentes pour nouvelle décision.
L'autorité précédente a renoncé à se déterminer sur le recours. Le ministère public a conclu au rejet. Ses écritures ont été transmises au recourant qui a formulé des observations, elles aussi communiquées aux autorités précitées.

Considérant en droit :
1.
Le recourant invoque une constatation inexacte des faits, se référant aux art. 95 let. a et b et 97 al. 1 LTF et une violation de la présomption d'innocence.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel qui reverrait librement les faits. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358).
La présomption d'innocence, garantie par les <ref-law> et 32 al. 1 Cst., ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.4 p. 368).
1.2. Dans une partie " Faits ", le recourant donne sa version des évènements, se référant à des pièces et témoignages du dossier cantonal. Non accompagnés d'un grief d'arbitraire suffisamment développé quant aux faits retenus par l'autorité précédente, les faits qu'il présente ainsi sont irrecevables dès lors qu'ils s'écartent de ces derniers.
Pour le surplus, les griefs quant aux faits retenus par l'autorité précédente, au vu de leur nature, seront abordés dans le cadre du considérant suivant.
2.
Le recourant conteste s'être rendu coupable de violation du secret de fonction au sens de l'<ref-law> dans l'un comme dans l'autre cas susmentionnés.
2.1. Aux termes de l'<ref-law>, celui qui aura révélé un secret à lui confié en sa qualité de membre d'une autorité ou de fonctionnaire, ou dont il avait eu connaissance à raison de sa charge ou de son emploi, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. La révélation demeure punissable alors même que la charge ou l'emploi a pris fin (al. 1). La révélation ne sera pas punissable si elle a été faite avec le consentement écrit de l'autorité supérieure (al. 2).
L'<ref-law> protège principalement l'intérêt de la collectivité à la discrétion des fonctionnaires et membres des autorités nécessaire à l'accomplissement sans entrave des tâches de l'Etat (<ref-ruling> consid. 5.1 p. 68; arrêt 6B_1369/2016 du 20 juillet 2017 consid. 4.3.1).
Le secret au sens de l'<ref-law> est un fait qui n'est connu que d'un nombre restreint de personnes, que le détenteur du secret veut maintenir secret et pour lequel il existe un intérêt au maintien du secret. L'infraction implique une notion matérielle du secret. Il n'est dès lors pas nécessaire que l'autorité concernée ait déclaré secret le fait en question. Est en revanche déterminant que ce fait n'ait ni été rendu public ni ne soit accessible sans difficulté et que le maître du secret ait non seulement un intérêt légitime, mais également la volonté manifestée expressément ou par actes concluants que ce secret soit maintenu (<ref-ruling> consid. 5.1 p. 67).
L'infraction de violation du secret de fonction est un délit propre pur. Elle ne peut être commise que par un fonctionnaire ou par un membre d'une autorité. Est un fonctionnaire au sens de l'<ref-law> notamment les fonctionnaires et les employés d'une administration publique (<ref-ruling> consid. 5.1 p. 68). Pour que l'<ref-law> s'applique, il faut encore que le secret ait été confié à l'auteur en sa qualité de membre d'une autorité ou de fonctionnaire ou qu'il en ait eu connaissance à raison de sa charge ou de son emploi (<ref-ruling> consid. 2c aa p. 236; NIKLAUS OBERHOLZER, Basler Kommentar, Strafrecht II, art. 111-392 CP, 3e éd 2013, n° 9 ad art. 320). Ne sont dès lors pas couverts par le secret de fonction les faits touchant l'activité officielle de l'auteur, que celui-ci a appris ou aurait pu apprendre, comme tout autre citoyen, en dehors de son service, les faits qu'il aurait pu apprendre sans autre à titre privé ou encore ceux dont il aurait eu le droit d'être informé (<ref-ruling> consid. 2c/bb p. 236).
Sur le plan subjectif, l'infraction réprimée par l'<ref-law> est intentionnelle. Le dol éventuel suffit (<ref-ruling> consid. 1 p. 125; arrêt 6B_1369/2016 du 20 juillet 2017 consid. 4.1).
2.2. En l'espèce, le recourant ne conteste pas qu'au moment des faits, il revêtait la qualité de fonctionnaire et était à ce titre soumis au secret de fonction. Il ne conteste pas non plus avoir communiqué de manière publique les informations litigieuses.
2.3. S'agissant des faits exposés sous let. Aa ci-dessus (publication Facebook), le recourant ne conteste pas que le fait qu'un radar de la police à laquelle il appartenait avait été vandalisé à coups de hache ait constitué un secret au sens de l'<ref-law> lors de sa survenance, le 11 juillet 2014. Il estime toutefois d'une part n'avoir pas appris cette information en sa qualité de policier, le 11 juillet 2014 déjà, d'autre part que cette information n'était plus secrète au moment où il l'a communiquée via sa page Facebook le 15 juillet 2014.
2.3.1. L'autorité précédente a retenu, après avoir apprécié les différentes preuves au dossier, que le recourant avait eu connaissance de l'origine délictueuse des dégâts, soit que le radar avait été vandalisé à coups de hache, non de manière publique mais dans le cadre de ses fonctions, à la reprise de son service dans la matinée du 11 juillet 2014. Elle a constaté que le commandant de la police avait décidé de ne pas porter les faits à la connaissance du public mais que le recourant les avait néanmoins divulgués. Avant qu'il ne le fasse via son compte Facebook, le 15 juillet 2014, l'incident n'était qu'au stade de la rumeur. Il n'était donc pas encore public.
2.3.2. A l'appui de son grief, le recourant conteste avoir appris l'acte de vandalisme durant son service le 11 juillet 2014 et invoque qu'il avait entendu " parler des évènements dans une pharmacie puis dans un établissement public ". De plus, la " vox populi " en ayant fait écho, il ne s'agissait pas d'informations non accessibles sans difficulté. L'information s'était déjà répandue et n'avait plus le statut de secret. Les précisions apportées par les témoins entendus démontrent que l'information était certaine et non pas au stade de suppositions et se diffusait déjà hors des sphères officielles lorsque le recourant l'a apprise. Il conteste la valeur probante donnée aux premières déclarations du témoin B._ - qui avait alors indiqué qu'il tenait l'information du recourant lui-même -, invoquant que ce témoin n'avait aucun intérêt à revenir sur celles-ci dans ses déclarations suivantes, plus favorables au recourant.
Son argumentation, consistant uniquement à tenter d'imposer sa version des faits sur celle retenue par l'autorité précédente sans démontrer en quoi celle-ci est insoutenable, est appellatoire et par conséquent irrecevable. Au demeurant, l'autorité précédente a notamment retenu que les photos versées au dossier faisaient clairement apparaître que les vitres du radar avaient été vandalisées par une hache ou un objet similaire, ce qu'un témoin avait encore confirmé. Dès lors que le recourant a admis avoir vu les dégâts sur le radar (recours, p. 8 let. b et jugement attaqué, p. 10), il n'était pas insoutenable de retenir, comme l'a fait l'autorité précédente, qu'il avait appris, alors qu'il était en service, le 11 juillet 2014, que le radar avait été vandalisé. S'agissant encore des différentes déclarations du témoin B._, l'autorité précédente a exposé pour quels motifs elle estimait que les dernières déclarations de ce témoin, plus favorables au recourant que les premières, non seulement n'étaient pas probantes, mais également étaient de toute manière sans portée sur le sort de la cause (cf. jugement attaqué, p. 9 ch. 5). Or, le recourant n'expose pas en quoi cette seconde motivation, distincte, serait arbitraire.
2.3.3. Le recourant invoque l'<ref-ruling> et notamment son consid. 2c/bb. Cette jurisprudence ne lui est d'aucun secours dès lors déjà que l'état de fait sur laquelle elle repose est différent de celui retenu par l'autorité précédente, sans que le recourant ne démontre l'arbitraire de ce dernier.
2.3.4. Fondés sur une version des faits qui s'écarte de celle retenue par l'autorité précédente sans démontrer le caractère insoutenable de cette dernière, les griefs de violation de l'<ref-law> que le recourant fait valoir pour les faits survenus en juillet 2014 sont irrecevables.
2.4. S'agissant des faits exposés sous let. Ab ci-dessus (communiqué de presse), le recourant conteste tout d'abord avoir appris l'information figurant dans son communiqué de presse dans le cadre de l'exercice de sa charge officielle de policier. Il invoque l'avoir apprise en sa qualité de président d'un syndicat. Il soutient que l'acte d'accusation serait antinomique à cet égard et ne permettrait pas de le condamner.
Sur le principe d'accusation et sa portée, on peut se référer à la jurisprudence constante rappelée aux arrêts publiés aux <ref-ruling> consid. 2.2 p. 65 et 141 IV 132 consid. 3.4.1 p. 142 s. L'acte d'accusation doit notamment décrire dans son état de fait les infractions reprochées au prévenu avec une précision telle que les reproches soient suffisamment concrets, ce tant objectivement que subjectivement.
En l'espèce, l'acte d'accusation du 3 juillet 2015 indique que le recourant a diffusé l'information litigieuse en sa qualité de président d'un syndicat, le 22 février 2015. Il n'expose aucunement, ni la fonction qu'il occupait alors, ni à quel titre et comment l'information lui est parvenue. Un tel acte d'accusation est insuffisant pour fonder la condamnation du recourant. Le grief de violation du principe d'accusation doit être admis.
Il s'en suit que le recours doit être admis à cet égard, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision, dans le respect du principe d'accusation. Ce qui précède rend sans objet les autres griefs soulevés par le recourant concernant le cas exposé sous let. Ab.
3.
Le recours est partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est irrecevable.
Le recourant peut prétendre à des dépens réduits, à la charge du canton de Neuchâtel. Dès lors que son recours est en partie irrecevable, il doit supporter une part des frais.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est irrecevable.
2.
Des frais judiciaires réduits, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le canton de Neuchâtel versera au recourant la somme de 1'500 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 28 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod