Faits : A. Par ordonnance pénale du 16 février 2015, le Ministère public de l'arrondissement de la Côte a reconnu A.X._ coupable de mise d'un véhicule automobile à la disposition d'un conducteur sans permis requis (art. 95 al. 1 let. e LCR), d'avoir laissé conduire sans permis de circulation ou plaque de contrôle (art. 96 al. 3 LCR) et d'avoir laissé conduire sans assurance-responsabilité civile (art. 96 al. 3 LCR). Il l'a condamné à une peine pécuniaire de 30 jours-amende, à 100 fr. le jour avec sursis pendant deux ans, à une amende de 800 fr., la peine privative de liberté de substitution étant fixée à 8 jours, ainsi qu'aux frais, par 200 francs. Les faits reprochés à A.X._ étaient ainsi décrits dans l'ordonnance pénale " Lieu et date: A Lully, Chemin Y._, le 7 juillet 2013 vers 16 h 00 " et " Indication sommaire des faits retenus: Le prévenu A.X._ a mis à disposition de son fils, B.X._, né le xxx 2002, un motocycle léger 80cc non immatriculé et non couvert par une assurance-responsabilité civile ". B. A la suite de l'opposition formée par A.X._, le Tribunal de police de l'arrondissement de la Côte a, par jugement du 30 juin 2015, libéré A.X._ des préventions indiquées ci-dessus, lui a alloué une indemnité de 3150 fr. pour ses frais de défense et a laissé les frais de la cause, par 600 fr., à la charge de l'Etat. C. Par jugement du 7 septembre 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel formé par le ministère public et a rejeté l'appel joint de A.X._. Après avoir confirmé la libération de celui-ci des chefs d'accusation de mise d'un véhicule automobile à la disposition d'un conducteur sans permis et de laisser conduire sans permis de circulation ou plaques de contrôle, elle a modifié le jugement de première instance en ce sens qu'elle a déclaré A.X._ coupable d'avoir laissé conduire un véhicule non couvert par une assurance responsabilité civile. La Cour d'appel pénale a exempté A.X._ de toute peine et a mis les frais de la cause à sa charge. Cette autorité a retenu à la base de cette décision que A.X._ avait autorisé son fils et l'ami de celui-ci également mineur à circuler avec le pocket bike dans le champ voisin avec l'accord du propriétaire. Cette aire ne pouvant être qualifiée de voie publique et vu l'usage restreint du véhicule, celui-ci ne devait pas être obligatoirement assuré pour une telle utilisation. En revanche, il ressortait de la lettre de A.X._ du 7 novembre 2013 qu'il avait également autorisé les deux enfants à se rendre sur un chemin forestier, chemin qui devait être assimilé à une route publique, ce qui nécessitait la conclusion d'une assurance responsabilité civile pour y circuler. Au vu de ce qui précédait, la Cour d'appel pénale a jugé que les conditions de l'art. 96 al. 3 LCR étaient réalisées et que A.X._ s'était rendu coupable de laisser conduire sans assurance responsabilité civile. D. A.X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 7 septembre 2015. Il conclut principalement, avec suite de frais et dépens, à sa réforme, en ce sens que l'appel du ministère public est rejeté, son appel joint est admis et l'indemnité qui lui a été accordée est augmentée à 4'660 fr. 75. Une indemnité de 2'337 fr. 65 lui est également allouée. A titre subsidiaire, il conclut à l'annulation du jugement du 7 septembre 2015 et au renvoi de la cause à l'autorité précédente pour nouvelle décision. L'autorité précédente a renoncé à se déterminer. Le ministère public a conclu au rejet du recours. A.X._ a formulé des observations.