Faits :
A.
Par ordonnance pénale du 16 février 2015, le Ministère public de l'arrondissement de la Côte a reconnu A.X._ coupable de mise d'un véhicule automobile à la disposition d'un conducteur sans permis requis (art. 95 al. 1 let. e LCR), d'avoir laissé conduire sans permis de circulation ou plaque de contrôle (<ref-law>) et d'avoir laissé conduire sans assurance-responsabilité civile (<ref-law>). Il l'a condamné à une peine pécuniaire de 30 jours-amende, à 100 fr. le jour avec sursis pendant deux ans, à une amende de 800 fr., la peine privative de liberté de substitution étant fixée à 8 jours, ainsi qu'aux frais, par 200 francs.
Les faits reprochés à A.X._ étaient ainsi décrits dans l'ordonnance pénale " Lieu et date: A Lully, Chemin Y._, le 7 juillet 2013 vers 16 h 00 " et " Indication sommaire des faits retenus: Le prévenu A.X._ a mis à disposition de son fils, B.X._, né le xxx 2002, un motocycle léger 80cc non immatriculé et non couvert par une assurance-responsabilité civile ".
B.
A la suite de l'opposition formée par A.X._, le Tribunal de police de l'arrondissement de la Côte a, par jugement du 30 juin 2015, libéré A.X._ des préventions indiquées ci-dessus, lui a alloué une indemnité de 3150 fr. pour ses frais de défense et a laissé les frais de la cause, par 600 fr., à la charge de l'Etat.
C.
Par jugement du 7 septembre 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel formé par le ministère public et a rejeté l'appel joint de A.X._. Après avoir confirmé la libération de celui-ci des chefs d'accusation de mise d'un véhicule automobile à la disposition d'un conducteur sans permis et de laisser conduire sans permis de circulation ou plaques de contrôle, elle a modifié le jugement de première instance en ce sens qu'elle a déclaré A.X._ coupable d'avoir laissé conduire un véhicule non couvert par une assurance responsabilité civile. La Cour d'appel pénale a exempté A.X._ de toute peine et a mis les frais de la cause à sa charge.
Cette autorité a retenu à la base de cette décision que A.X._ avait autorisé son fils et l'ami de celui-ci également mineur à circuler avec le pocket bike dans le champ voisin avec l'accord du propriétaire. Cette aire ne pouvant être qualifiée de voie publique et vu l'usage restreint du véhicule, celui-ci ne devait pas être obligatoirement assuré pour une telle utilisation. En revanche, il ressortait de la lettre de A.X._ du 7 novembre 2013 qu'il avait également autorisé les deux enfants à se rendre sur un chemin forestier, chemin qui devait être assimilé à une route publique, ce qui nécessitait la conclusion d'une assurance responsabilité civile pour y circuler. Au vu de ce qui précédait, la Cour d'appel pénale a jugé que les conditions de l'<ref-law> étaient réalisées et que A.X._ s'était rendu coupable de laisser conduire sans assurance responsabilité civile.
D.
A.X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 7 septembre 2015. Il conclut principalement, avec suite de frais et dépens, à sa réforme, en ce sens que l'appel du ministère public est rejeté, son appel joint est admis et l'indemnité qui lui a été accordée est augmentée à 4'660 fr. 75. Une indemnité de 2'337 fr. 65 lui est également allouée. A titre subsidiaire, il conclut à l'annulation du jugement du 7 septembre 2015 et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
L'autorité précédente a renoncé à se déterminer. Le ministère public a conclu au rejet du recours. A.X._ a formulé des observations.

Considérant en droit :
1.
Le recourant conteste sa condamnation en vertu de l'<ref-law>. Il estime en particulier que l'autorité précédente a arbitrairement retenu l'existence d'un chemin forestier et l'autorisation donnée par le recourant à son fils d'y rouler. Il voit également dans la manière dont l'autorité précédente a établi ces faits, sans instruction ni interpellation des parties, une violation de son droit d'être entendu. Il invoque enfin une violation du principe d'accusation et du principe in dubio pro reo.
1.1. Aux termes de l'<ref-law>, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits.
Le principe d'accusation, consacré par cette disposition, découle aussi de l'art. 29 al. 2 Cst. (droit d'être entendu). Selon ce principe, l'acte d'accusation définit l'objet du procès et sert également à informer le prévenu (fonction de délimitation et d'information, cf. <ref-ruling> consid. 1.3 p. 190). Ainsi d'une part le tribunal est lié par l'état de fait décrit dans l'acte d'accusation (principe de l'immutabilité de l'acte d'accusation; <ref-law>). D'autre part l'acte d'accusation doit décrire aussi précisément que possible dans son état de fait les délits reprochés au prévenu, de sorte à ce que ce dernier sache exactement les faits qui lui sont imputés et quelles sont les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (cf. <ref-ruling> consid. 1.3 p. 190; <ref-ruling> consid. 6.3 p. 245).
L'<ref-law> exige que l'acte d'accusation désigne, notamment, le plus brièvement possible, mais avec précision, les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f) de même que les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g). Des imprécisions relatives au lieu ou à la date sont sans portée, dans la mesure où le prévenu ne peut avoir de doute sur le comportement qui lui est reproché (arrêt 6B_907/2013 du 3 octobre 2014 consid. 1.5).
1.2. En vertu de l'<ref-law>, lorsque le ministère public décide, malgré une opposition, de maintenir l'ordonnance pénale, le ministère public transmet sans retard le dossier au tribunal de première instance en vue des débats. L'ordonnance pénale tient lieu d'acte d'accusation.
1.3. Aux termes de l'<ref-law> est puni de l'amende quiconque conduit un véhicule automobile avec ou sans remorque sans le permis de circulation ou les plaques de contrôle requis. En vertu de l'<ref-law> est puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire quiconque conduit un véhicule automobile en sachant qu'il n'est pas couvert par l'assurance responsabilité civile prescrite ou qui devrait le savoir s'il avait prêté toute l'attention commandée par les circonstances. La peine privative de liberté est assortie d'une peine pécuniaire. Dans les cas de peu de gravité, la sanction est la peine pécuniaire.
Selon l'<ref-law>, retenu à l'encontre du recourant, est puni des mêmes peines que les alinéas 1 et 2 précités le détenteur du véhicule ou la personne qui dispose de ce dernier en ayant connaissance de l'infraction ou qui devrait en avoir connaissance s'il avait prêté toute l'attention commandée par les circonstances. L'application de l'<ref-law> au détenteur du véhicule suppose qu'il y ait eu " infraction " au sens des alinéas 1 ou 2 de l'<ref-law>.
1.4. En l'espèce, l'ordonnance pénale, valant acte d'accusation, exposait de manière très succincte les faits reprochés au recourant (cf. supra let. A). Elle indiquait cependant précisément, limitant ainsi l'objet du procès, le lieu et la date du comportement reproché, soit chemin Y._ d'une part, le 7 juillet 2013 vers 16 h 00 d'autre part. L'ordonnance pénale ne faisait en revanche pas mention d'un chemin forestier. Elle ne constatait pas non plus que le fils du recourant aurait effectivement circulé sur un tel chemin, qui plus est avec l'accord du recourant s'agissant de ce chemin. Dans ces circonstances, c'est en violation du principe d'accusation que l'autorité précédente, pour fonder la condamnation en vertu de l'<ref-law>, a retenu implicitement que le fils du recourant avait roulé sur un tel chemin et explicitement qu'il l'avait fait avec l'autorisation du recourant. Le recours doit dès lors être admis, le jugement annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Ce qui précède rend sans objet les autres griefs formulés par le recourant.
2.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 juin 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod