Faits :
A.
Par ordonnance du 14 avril 2015, le Ministère public de l'arrondissement du Nord vaudois a classé la procédure pénale dirigée contre X._ pour lésions corporelles qualifiées, subsidiairement voies de fait qualifiées et violation du devoir d'assistance ou d'éducation. Il a rejeté la requête d'indemnité pour tort moral présentée par X._ et dit que les frais relatifs à la présente ordonnance de classement étaient laissés à la charge de l'Etat.
X._ n'a pas recouru contre cette ordonnance.
B.
B.a. Par ordonnance pénale du 22 avril 2015, le Ministère public de l'arrondissement du Nord vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants à une peine pécuniaire de 90 jours-amende, à 30 fr. le jour et avec sursis durant 2 ans. Il a mis les frais de procédure par 5'739 fr. 50 à la charge de X._.
B.b. A la suite de l'opposition formée contre cette ordonnance par X._, le Tribunal de police de l'arrondissement de Lausanne l'a, par jugement du 4 novembre 2015, libéré du chef d'accusation d'actes d'ordre sexuel avec des enfants. Il a mis à la charge de X._ une partie des frais de procédure, soit 8'242 fr. 70, y compris l'indemnité allouée à son défenseur d'office, par 6'776 fr. 35, et a rejeté sa requête tendant à l'octroi d'une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et en réparation du tort moral subi.
C.
Par jugement du 3 juin 2016, la Cour d'appel pénale a rejeté l'appel formé contre ce jugement par X._, y apportant néanmoins quelques corrections.
D.
X._ forme un recours auprès du Tribunal fédéral contre le jugement du 3 juin 2016. Il requiert que soit fixée l'indemnité que ses enfants et lui devront toucher pour réparer le tort moral subi du fait de la procédure.
L'autorité précédente et le ministère public ne se sont pas déterminés sur le recours, respectivement y ont renoncé.

Considérant en droit :
1.
Les prétentions en indemnisation prévues à l'<ref-law> sont des décisions en matière pénale au sens de l'<ref-law>, contre lesquelles le recours en matière pénale est ouvert (<ref-ruling> consid. 1 p. 207 s.).
2.
Le recourant, qui procède sans avocat, invoque avoir été accusé d'inceste. Il n'a toutefois jamais été accusé d'une telle infraction, sanctionnée de manière distincte par l'<ref-law>. Il a en outre été " libéré de l'accusation d'actes d'ordre sexuel avec des enfants ", visés par l'<ref-law>, par l'autorité de première instance, soit acquitté de cette accusation, acquittement que l'autorité d'appel n'a pas remis en question.
3.
Reste à déterminer si l'autorité précédente pouvait lui refuser l'indemnisation requise en appel à hauteur de 10'000 fr. pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et en réparation du tort moral éprouvé.
3.1. Aux termes de l'<ref-law>, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (let. a) et une réparation du tort moral subi en raison d'une atteinte particulièrement grave à sa personnalité, notamment en cas de privation de liberté (let. c).
3.1.1. L'indemnité visée par l'<ref-law> concerne les dépenses du prévenu pour un avocat de choix. Le prévenu acquitté qui est au bénéfice de l'assistance judiciaire ne peut prétendre à une indemnité pour frais de défense (<ref-ruling> consid. 2.2.2 p. 263).
3.1.2. Afin d'avoir droit à l'indemnité visée par l'art. 429 al. 1 let. c CPP, l'intensité de l'atteinte à la personnalité doit être analogue à celle requise dans le contexte de l'<ref-law> (arrêt 6B_928/2014 précité consid. 5.1, non publié in <ref-ruling>). L'indemnité pour tort moral pourra ainsi être réclamée si le prévenu s'est trouvé en détention provisoire ou en détention pour des motifs de sûreté. Outre la détention, peut constituer une grave atteinte à la personnalité, par exemple, une arrestation ou une perquisition menée en public, la durée très longue de la procédure ainsi que les conséquences familiales, professionnelles ou politiques d'une procédure pénale, de même que les assertions attentatoires aux droits de la personnalité qui pourraient être diffusées par les autorités pénales en cours d'enquête. En revanche, il n'y a pas lieu de prendre en compte les désagréments inhérents à toute poursuite pénale comme la charge psychique que celle-ci est censée entraîner normalement chez une personne mise en cause (cf. arrêt 6B_478/2016 du 8 juin 2017 consid. 3.1 destiné à la publication).
3.1.3. Aux termes de l'<ref-law>, l'autorité pénale peut néanmoins réduire ou refuser l'indemnité visée par l'<ref-law> lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci.
L'<ref-law> est le pendant de la règle énoncée à l'<ref-law> en matière de frais. Cette dernière disposition prévoit qu'en cas d'ordonnance de classement ou d'acquittement, tout ou partie des frais de la procédure peuvent être mis à la charge du prévenu, s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci. La question de l'indemnisation du prévenu (<ref-law>) doit être traitée en relation avec celle des frais (<ref-law>). Si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue. En revanche, si l'Etat supporte les frais de la procédure pénale, le prévenu dispose d'un droit à une indemnité pour ses frais de défense et son dommage économique ou à la réparation de son tort moral selon l'<ref-law>. Dans ce cas, il ne peut être dérogé au principe du droit à l'indemnisation qu'à titre exceptionnel (<ref-ruling> consid. 2.4.2 p. 357; arrêt 6B_1191/2016 du 12 octobre 2017 consid. 2.2). La question de l'indemnisation doit ainsi être tranchée après la question des frais. Dans cette mesure, la décision sur les frais préjuge de la question de l'indemnisation (<ref-ruling> consid. 2.4.2 p. 357; arrêt 6B_1146/2016 du 14 juillet 2017 consid. 1.1). Lorsque la condamnation aux frais n'est que partielle, la réduction de l'indemnité devrait s'opérer dans la même mesure (arrêts 6B_1065/2015 du 15 septembre 2016 consid. 2.2; 6B_256/2016 du 20 juin 2016 consid. 3.3).
3.2. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation posées par l'<ref-law> (<ref-ruling> consid. 2.4 p. 368).
En l'espèce, le recourant ne soulève pas de griefs d'arbitraire s'agissant des faits constatés par l'autorité précédente.
3.3. A raison, le recourant ne conteste pas le refus de lui accorder une indemnité fondée sur l'<ref-law>. Assisté durant la procédure cantonale d'un avocat d'office, il n'y avait pas droit (cf. supra consid. 3.1.1).
3.4. S'agissant de l'indemnité pour tort moral réclamée, l'autorité précédente a estimé que le comportement du recourant envers ses enfants, tel que décrit dans la procédure, avait été totalement inadéquat. Qu'il soit adepte du naturisme n'était pas déterminant. En revanche, il avait imposé sa nudité à ses enfants sans tenir compte de leurs sentiments, de leur gêne mais aussi de leur souffrance à cet égard. Il ne s'était de plus pas contenté de se promener nu devant eux, mais avait également dormi nu avec eux alors qu'ils étaient parfois dévêtus eux aussi. Son fils a en particulier souffert d'être continuellement confronté au corps dénudé de son père, ce que le recourant n'avait pas voulu prendre en considération. De surcroît, le recourant avait notamment laissé sa fille cadette toucher son sexe à tout le moins à une reprise et lui avait montré comment en retrousser le prépuce. L'autorité précédente a estimé que par ses agissements le recourant avait violé les art. 301 et 302 CC. La violation de ses obligations de père constituait un acte illicite au sens de l'<ref-law>. Ce comportement était à l'origine de l'ouverture de la procédure pénale. Il était en effet propre à faire naître, selon le cours ordinaire des choses et l'expérience de la vie, le soupçon qu'il ait commis un ou des actes d'ordre sexuel avec des enfants justifiant l'ouverture d'une procédure pénale. L'autorité précédente a ensuite considéré que le recourant n'avait pas été franc dans ses explications et avait sans cesse dû être recadré pour qu'il réponde aux questions qui lui étaient posées. Cette attitude était également de nature à compliquer la conduite de l'instruction et donc à prolonger inutilement la durée de la procédure. Cela justifiait que tous les frais de procédure en lien avec les actes d'ordre sexuel avec des enfants que le recourant avait été soupçonné d'avoir commis soient mis à sa charge.
Selon l'autorité précédente, il ressortait du dossier et du jugement que seule une partie des frais avait été mise à la charge du recourant afin de tenir compte de l'ordonnance de classement rendue dans la même procédure en faveur du recourant du chef d'autres accusations. En d'autres termes, l'autorité précédente jugeait que l'entier des frais afférant à l'accusation d'actes d'ordre sexuel avec des enfants avait été mis à la charge du recourant par l'autorité de première instance, solution que l'autorité précédente confirmait.
S'agissant de la question de l'indemnité pour tort moral, l'autorité précédente a constaté que le recourant n'avait pas contesté le refus de toute indemnité prononcée dans l'ordonnance de classement du 14 avril 2015. Quant à l'indemnité demandée compte tenu de l'accusation d'actes d'ordre sexuel avec des enfants, elle pouvait être refusée dès lors que le recourant avait clairement violé de manière répréhensible les devoirs qui lui incombaient en vertu des <ref-law> et avait provoqué par là fautivement et illicitement l'ouverture de la procédure. L'<ref-law> était applicable de sorte que le droit à une indemnité pour tort moral n'était pas ouvert.
3.5. Le recourant ne conteste pas la mise à sa charge des frais de procédure relatifs au pan de la procédure ayant traité de l'accusation d'actes d'ordre sexuel sur des enfants. Or, suivant la jurisprudence précitée (cf. supra consid. 3.1.3), le sort donné à cette question préjuge la réponse à donner à la question de l'indemnisation. L'octroi d'une indemnité pour le tort moral invoqué du fait de l'accusation d'actes d'ordre sexuel sur des enfants est par conséquent exclu.
Au demeurant, l'autorité précédente ne peut qu'être suivie lorsqu'elle invoque, pour certains actes, une violation par le recourant des obligations posées par les art. 301 al. 1 et art. 302 al. 2 CC. L'<ref-law> prévoit que les père et mère déterminent les soins à donner à l'enfant, dirigent son éducation en vue de son bien et prennent les décisions nécessaires, sous réserve de sa propre capacité. L'<ref-law> prévoit quant à lui que les père et mère sont tenus d'élever l'enfant selon leurs facultés et leurs moyens et qu'ils ont le devoir de favoriser et de protéger son développement corporel, intellectuel et moral. En l'espèce, ce n'est pas le naturisme pratiqué par le recourant qui était en question dans le cadre de la procédure menée à son encontre pour actes d'ordre sexuel sur des enfants, le naturisme n'étant pas a priori propre à lui seul à conduire à l'ouverture d'une telle procédure. En revanche, l'autorité précédente a considéré à juste titre qu'en laissant sa cadette " jouer avec la peau de son zizi ", le " secouer et le basculer " - selon les termes de l'enfant - et en lui montrant comment enlever et remettre le prépuce, le recourant avait, par ces comportements-là, enfreint les dispositions précitées et provoqué illicitement et fautivement l'ouverture de la procédure. Ce motif permettait, conformément à l'<ref-law>, de refuser au recourant l'indemnité pour le tort moral qu'il réclamait.
4.
Il résulte de ce qui précède que le recours doit être rejeté.
Au vu des circonstances du cas d'espèce, il se justifie de statuer sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 novembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Gehring