Faits : A. Par ordonnance du 14 avril 2015, le Ministère public de l'arrondissement du Nord vaudois a classé la procédure pénale dirigée contre X._ pour lésions corporelles qualifiées, subsidiairement voies de fait qualifiées et violation du devoir d'assistance ou d'éducation. Il a rejeté la requête d'indemnité pour tort moral présentée par X._ et dit que les frais relatifs à la présente ordonnance de classement étaient laissés à la charge de l'Etat. X._ n'a pas recouru contre cette ordonnance. B. B.a. Par ordonnance pénale du 22 avril 2015, le Ministère public de l'arrondissement du Nord vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants à une peine pécuniaire de 90 jours-amende, à 30 fr. le jour et avec sursis durant 2 ans. Il a mis les frais de procédure par 5'739 fr. 50 à la charge de X._. B.b. A la suite de l'opposition formée contre cette ordonnance par X._, le Tribunal de police de l'arrondissement de Lausanne l'a, par jugement du 4 novembre 2015, libéré du chef d'accusation d'actes d'ordre sexuel avec des enfants. Il a mis à la charge de X._ une partie des frais de procédure, soit 8'242 fr. 70, y compris l'indemnité allouée à son défenseur d'office, par 6'776 fr. 35, et a rejeté sa requête tendant à l'octroi d'une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et en réparation du tort moral subi. C. Par jugement du 3 juin 2016, la Cour d'appel pénale a rejeté l'appel formé contre ce jugement par X._, y apportant néanmoins quelques corrections. D. X._ forme un recours auprès du Tribunal fédéral contre le jugement du 3 juin 2016. Il requiert que soit fixée l'indemnité que ses enfants et lui devront toucher pour réparer le tort moral subi du fait de la procédure. L'autorité précédente et le ministère public ne se sont pas déterminés sur le recours, respectivement y ont renoncé.