Faits : A. Par jugement du 16 mai 2014, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des accusations d'infraction à la LStup et de violation grave des règles de la circulation. Il l'a condamné pour infraction à la loi fédérale du 15 décembre 2000 sur les produits thérapeutiques (LPTh; RS 812.21) et entrave à la circulation publique (art. 237 CP) à une peine privative de liberté de trois ans, sous déduction d'un jour de détention avant jugement, avec sursis pour trente mois pendant cinq ans. Il a révoqué les sursis assortissant la peine de deux mois d'emprisonnement prononcée le 31 janvier 2006 et la peine de 40 jours-amendes, à 100 fr. le jour, prononcée le 24 juin 2010. B. Par jugement du 9 janvier 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ ainsi que l'appel joint le concernant formé par le Ministère public du canton de Vaud. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté de l'accusation d'entrave à la circulation publique. A titre subsidiaire, il sollicite l'annulation du jugement précité et le renvoi de la cause à l'autorité cantonale pour nouvelle décision.