Faits :
A.
X._ a été condamné, par ordonnance pénale administrative du 19 novembre 2013, à une amende de 200 fr. et aux frais de la cause pour infraction à l'art. 72 de la loi neuchâteloise sur la faune sauvage (LFS/NE). Il lui était reproché d'avoir, le 15 juillet 2012, vers 09h30, à A._, au lieu-dit B._, laissé quêter ses deux chiens de chasse setter gordon le long d'une rivière.
Par jugement du 17 juin 2014, statuant sur opposition de X._, le Tribunal de police du Littoral et du Val-de-Travers l'a acquitté de l'infraction qui lui était reprochée et a laissé les frais à la charge de l'État. Sur requête du prénommé, le même tribunal lui a alloué, par décision du 21 décembre 2015, une indemnité de frais de défense au sens de l'<ref-law>, fixée à 3'309.80 francs.
B.
Par jugement d'appel du 8 août 2016, la Cour pénale du Tribunal cantonal neuchâtelois, a admis l'appel du Ministère public et annulé la décision du 21 décembre 2015 du Tribunal de police du Littoral et du Val-de-Travers.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement d'appel du 8 août 2006. Il conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité inférieure pour nouveau jugement au sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 197).
Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 317 et les références citées).
En l'espèce, le recourant, qui se plaint d'une violation de l'<ref-law>, n'a pris aucune conclusion sur le fond, mais a uniquement sollicité l'annulation du jugement attaqué et le renvoi de la cause à l'autorité précédente. Une telle manière de faire est admissible s'agissant des griefs de violation des droits de procédure. En revanche, elle ne l'est pas s'agissant des autres griefs concernant la violation du droit fédéral. Les motifs du recours permettent cependant de comprendre que le recourant souhaite obtenir une indemnité fondée sur la disposition précitée. Cela suffit pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (<ref-ruling> consid. 1.3 p. 317). Le recours est ainsi recevable.
2.
2.1. L'infraction dont le recourant a été libéré est une infraction de droit cantonal. L'<ref-law> dont le recourant se prévaut s'applique ainsi tout au plus à titre de droit cantonal supplétif, dont le Tribunal fédéral ne revoit l'application que sous l'angle de l'arbitraire.
2.2. Selon l'<ref-law>, seul ici en jeu, le prévenu acquitté totalement ou en partie ou au bénéfice d'un classement a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. L'État ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (<ref-ruling> consid. 2.1 p. 47).
L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu (<ref-ruling> consid. 2.1 p. 47; <ref-ruling> consid. 2.3.5 p. 203). Déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (<ref-ruling> consid. 2.1 p. 47; <ref-ruling> consid. 2.3.6 p. 204).
2.3. En l'espèce, la cour cantonale a jugé que la cause portait sur une contravention de moindre gravité, sanctionnée d'une amende plutôt modeste, ajoutant qu'elle s'avérait particulièrement simple en fait et en droit, dès lors qu'il s'agissait uniquement de déterminer si, oui ou non, le recourant avait laissé ses chiens quêter. Quoi qu'en dise le recourant, l'argumentation de la cour cantonale emporte la conviction. La durée de la présente procédure n'a guère de portée dans l'appréciation du cas d'espèce, dès lors qu'elle n'est pas liée à une instruction complexe impliquant une multitude d'actes. Il admet lui-même que l'opposition à une ordonnance pénale administrative ne présente pas en soi une complexité particulière. On ne voit pas en quoi la cour cantonale aurait minimisé la complexité de la suite de la procédure, puisqu'il s'agissait ni plus ni moins, pour le recourant, que de présenter sa propre version des faits et d'attester ses compétences dans le domaine canin et cynégétique. Aucun développement juridique particulier n'était nécessaire. Quant aux effets que le maintien d'une condamnation aurait pu revêtir, le recourant se limite à évoquer d'hypothétiques conséquences sur son permis de chasse ou autres éventuelles conséquences administratives qu'il ne détaille pas plus avant. La cour cantonale était également fondée à rejeter toute critique relative à une prétendue violation du principe d'égalité des armes, puisque, comme elle l'a relevé, ni le Ministère public, ni le dénonciateur n'étaient présents devant le Tribunal de police. Il importe guère, à cet égard, que la dénonciation émane du département cantonal compétent. Enfin, contrairement à ce que semble penser le recourant, une condamnation par voie d'ordonnance pénale sans audition préalable du prévenu ne conduit pas ipso facto à retenir que l'assistance d'un avocat serait en toutes hypothèses nécessaire ou raisonnable. L'appréciation dépend au contraire de l'ensemble des éléments propres au cas d'espèce. En l'occurrence, la cour cantonale a correctement motivé les raisons pour lesquelles, compte tenu de la simplicité du cas et de l'ampleur toute relative de la sanction en jeu, le recours à un mandataire ne s'imposait pas.
3.
Il s'ensuit que le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 13 septembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens