Faits : A. Par jugement du 14 octobre 2013, le Juge de police de l'arrondissement de la Sarine du canton de Fribourg a condamné X._ pour violation grave des règles de la circulation routière à une peine pécuniaire de 12 jours-amendes, à 30 fr. le jour avec sursis pendant deux ans, ainsi qu'au paiement d'une amende de 300 francs. En fait, il a estimé que X._ était le conducteur du véhicule Subaru Impreza FR xxx enregistré le 25 juillet 2009 par un radar comme circulant à une vitesse de 133 km/h, alors que la vitesse autorisée sur le tronçon était de 80 km/h. B. Par arrêt du 16 octobre 2014, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a rejeté l'appel formé par X._. C. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de cette décision, en ce sens qu'il est acquitté du chef de prévention de violation grave des règles de la circulation routière, que les frais de justice sont mis à la charge de l'Etat de Fribourg et qu'une indemnité à titre de dépens lui est octroyée pour les procédures de première et deuxième instance. Invités à se déterminer, l'autorité précédente y a renoncé, le ministère public également, concluant néanmoins au rejet du recours, par courrier du 25 août 2015, transmis au recourant.