Faits :
A.
Par jugement du 13 octobre 2014, le Juge de police de l'arrondissement de la Sarine a reconnu X._ coupable d'une violation grave des règles de la circuliation routière (vitesse inadaptée) et l'a condamné à une peine de vingt jours-amende, à 250 fr. le jour avec sursis pendant quatre ans, ainsi qu'à une amende de 700 francs.
B.
Par arrêt du 23 novembre 2015, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé contre ce jugement par X._.
En substance, cette autorité a constaté que le mardi 19 juillet 2011, entre 11 h 25 et 11 h 35, X._ avait emprunté dans le sens de la montée la rue A._ à Fribourg au volant d'un véhicule utilitaire. Il était parfaitement conscient que la vitesse autorisée dans cette zone de rencontre était de 20 km/h. Il avait néanmoins roulé à une vitesse bien supérieure, sans pour autant que sa vitesse puisse être déterminée avec précision. X._ avait circulé à une vitesse qui était en totale inadéquation avec la configuration des lieux (places de stationnement, fontaine, tournant à gauche), notamment sous l'angle de la visibilité et de la possibilité d'être à tout moment confronté tant à des véhicules circulant en sens inverse qu'à des piétons, en particulier des enfants en vacances scolaires et à l'heure de sortie des passeports vacances. Elle a retenu une violation de l'<ref-law>, constitutive de violation grave d'une règle de la circulation au sens de l'art. 90 ch. 2 aLCR.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de cette décision et à son acquittement, subsidiairement au renvoi de la cause à l'autorité précédente pour instruction complémentaire et nouvelle décision.

Considérant en droit :
1.
Le recourant invoque que la motivation de l'autorité précédente serait insuffisante et ne remplirait pas les exigences posées par l'<ref-law>. L'autorité précédente n'aurait fait que citer les principes relatifs à la présomption d'innocence, puis les considérants du jugement de première instance pour finalement faire une très courte réflexion sur la valeur des déclarations des témoins par rapport à celle des dires du recourant.
Cette appréciation ne peut être suivie. Si l'autorité précédente a effectivement repris les considérants détaillés topiques du jugement de première instance, le recourant passe sous silence qu'elle a déclaré faire sienne cette motivation et y a renvoyé comme l'<ref-law> le lui permettait. Elle a ensuite souligné différents éléments pris en compte par l'autorité de première instance. Une telle motivation ne contrevient ni à la jurisprudence développée s'agissant de l'<ref-law> (cf. <ref-ruling> consid. 1.2.3 p. 246 s.), ni à l'<ref-law>. Le grief est infondé.
2.
Le recourant se plaint de l'appréciation des preuves et des constatations de faits opérées par l'autorité précédente. Il invoque une violation de la présomption d'innocence dans la constatation des faits.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel qui reverrait ces points librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.3 p. 375). Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 253). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (<ref-law> et 32 al. 1 Cst.), celle-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 6.3 p. 375).
2.2. Il résulte de ce qui précède que la présentation libre des faits à laquelle procède le recourant en p. 3 à 7 de son recours est irrecevable. Il ne saurait en être tenu compte.
2.3. Le recourant reproche à l'autorité précédente d'avoir privilégié à sa version des faits celle concordante de deux piétons l'ayant successivement vu rouler devant eux. Se fondant partiellement sur des faits non constatés par l'autorité précédente sans exposer d'une part la preuve qui les établirait, d'autre part en quoi leur omission serait arbitraire, son grief consiste au surplus à tenter d'imposer sa propre appréciation sur celle de l'autorité précédente sans démontrer en quoi celle-ci aurait été insoutenable. Appellatoire, le grief est irrecevable. Il en va de même du moyen soulevé à l'encontre du fait retenu par l'autorité précédente que la préoccupation du recourant d'amener des matériaux pour ses employés travaillant sur le chantier l'a emporté sur le péril qu'il faisait courir aux autres usagers par sa conduite.
2.4. Le recourant reproche en vain à l'autorité précédente de lui avoir imputé une vitesse sans pouvoir se fonder sur les mesures d'un appareil technique. L'autorité précédente pouvait en effet sans arbitraire se fonder sur les déclarations concordantes des deux témoins visuels pour retenir que le recourant montait la rue A._ à vive allure, soit à une vitesse bien supérieure à 20 km/h, proche de la limite posée par la jurisprudence (soit 45 km/h [20 km/h en zone de rencontre + 25 km/h]), sans qu'elle ne puisse être précisément déterminée.
3.
Le recourant conteste que son comportement constitue une violation de l'art. 90 ch. 2 aLCR.
3.1. En vertu de l'<ref-law>, la vitesse doit toujours être adaptée aux circonstances, notamment aux particularités du véhicule et du chargement, ainsi qu'aux conditions de la route, de la circulation et de la visibilité. Aux endroits où son véhicule pourrait gêner la circulation, le conducteur est tenu de circuler lentement et, s'il le faut, de s'arrêter, notamment aux endroits où la visibilité n'est pas bonne, aux intersections qu'il ne peut embrasser du regard, ainsi qu'aux passages à niveau.
Cette règle implique notamment qu'on ne peut circuler à la vitesse maximale autorisée que si les conditions de la route, du trafic et de visibilité sont favorables (<ref-ruling> consid. 4b p. 291; plus récemment arrêt 6B_1247/2013 du 13 mars 2014 consid. 3.1). La violation de l'<ref-law> n'est pas subordonnée à la condition de la perte de maîtrise du véhicule (arrêt 4A_76/2009 du 6 avril 2009 consid. 3.2). L'examen de l'adaptation de la vitesse aux circonstances, dans leur ensemble, est en principe une question de droit que le Tribunal fédéral peut examiner librement. Comme la réponse dépend pour beaucoup de l'appréciation des circonstances locales par l'autorité cantonale, à laquelle il faut laisser une certaine latitude, le Tribunal fédéral ne s'écarte toutefois de cette appréciation que lorsque des raisons impérieuses l'exigent (<ref-ruling> consid. 2 p. 229; arrêt 6B_1247/2013 du 13 mars 2014 consid. 3.1).
3.2. Aux termes de l'art. 90 aLCR dans sa teneur en vigueur au moment des faits - le droit actuel posant les mêmes exigences et les mêmes sanctions bien que libellées de manière différente -, celui qui aura violé les règles de la circulation fixées par la LCR ou par les prescriptions d'exécution émanant du Conseil fédéral sera puni de l'amende (ch. 1). Celui qui, par une violation grave d'une règle de la circulation, aura créé un sérieux danger pour la sécurité d'autrui ou en aura pris le risque, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (ch. 2).
Pour dire si une violation d'une règle de la circulation doit être qualifiée de grave au sens de l'<ref-law>, respectivement 90 ch. 2 aLCR, il faut procéder à une appréciation aussi bien objective que subjective.
D'un point de vue objectif, la violation grave d'une règle de circulation au sens de l'art. 90 ch. 2 aLCR suppose que l'auteur a mis sérieusement en danger la sécurité du trafic. Il y a création d'un danger sérieux pour la sécurité d'autrui non seulement en cas de mise en danger concrète, mais déjà en cas de mise en danger abstraite accrue (<ref-ruling> consid. 3.1. p. 96; <ref-ruling> consid. 3.2 p. 136). Il y a mise en danger abstraite accrue lorsqu'une ou des personnes indéterminées auraient pu se trouver potentiellement exposées à un danger pour leur intégrité physique. Lorsque l'on peut objectivement exclure des circonstances la présence de tout tiers, y compris, le cas échéant, du passager du conducteur en infraction, l'imminence du danger peut être niée (arrêt 6B_117/2015 du 11 février 2016 consid. 13.2).
Subjectivement, l'état de fait de l'art. 90 ch. 2 aLCR exige un comportement sans scrupules ou gravement contraire aux règles de la circulation, c'est-à-dire une faute grave et, en cas d'acte commis par négligence, à tout le moins une négligence grossière (<ref-ruling> consid. 3.1. p. 96). Celle-ci doit être admise lorsque le conducteur est conscient du caractère généralement dangereux de son comportement contraire aux règles de la circulation. Mais une négligence grossière peut également exister lorsque, contrairement à ses devoirs, l'auteur ne prend absolument pas en compte le fait qu'il met en danger les autres usagers, en d'autres termes s'il se rend coupable d'une négligence inconsciente. Dans de tels cas, une négligence grossière ne peut être admise que si l'absence de prise de conscience du danger créé pour autrui repose elle-même sur une absence de scrupules (ATF <ref-ruling> consid. 3.2 p. 136). Plus la violation de la règle de la circulation apparaît objectivement grave, plus facilement sera admis, sauf circonstances particulières contraires, un comportement sans scrupule. L'acceptation de l'absence de scrupules ne peut cependant pas être déduite de toute inattention (cf. <ref-ruling> consid. 3.1. p. 96 et les références).
Dans le domaine des excès de vitesse, la jurisprudence a été amenée à fixer des règles précises afin d'assurer l'égalité de traitement. Ainsi, le cas est objectivement grave au sens de l'art. 90 ch. 2 aLCR, sans égard aux circonstances concrètes, en cas de dépassement de la vitesse autorisée de 25 km/h ou plus à l'intérieur des localités (<ref-ruling> consid. 3.1 p. 237 s.). Même en deçà de cette limite, le cas peut néanmoins être objectivement grave pour d'autres motifs, par exemple à raison d'une vitesse inadaptée aux circonstances, au sens de l'<ref-law>, ayant entraîné une perte de maîtrise du véhicule. Il a été relevé de manière répétée qu'il en irait de même dans le cas de celui qui, dans une localité, circulerait à 50 km/h à proximité d'un jardin d'enfants au moment où des enfants se trouvent à cet endroit, en raison du risque important créé dans un lieu où circulent des usagers particulièrement vulnérables (piétons, cyclistes; <ref-ruling> consid. 4a p. 132; arrêt 6B_282/2009 du 14 décembre 2009 consid. 2.1).
3.3. A l'appui de son moyen, le recourant invoque l'absence de mise en danger concrète. Comme exposé ci-dessus, une telle mise en danger n'est pas une condition d'application de l'art. 90 ch. 2 aLCR.
3.4. Il ressort pour le surplus de l'arrêt attaqué que la zone où a eu lieu le comportement reproché au recourant était une zone de rencontre, soit une route située dans un quartier résidentiel ou commercial, sur laquelle les piétons et les utilisateurs d'engins assimilés à des véhicules peuvent utiliser toute l'aire de circulation, où ils bénéficient de la priorité mais ne doivent toutefois pas gêner inutilement les véhicules et où la vitesse maximale est fixée à 20 km/h (cf. art. 22b al. 1 et 2 de l'ordonnance sur la signalisation routière du 5 septembre 1979; OSR; RS 741.21). Sur de telles routes, les conducteurs sont tenus de circuler d'une manière particulièrement prudente et prévenante (art. 41a de l'ordonnance sur les règles de la circulation routière du 13 novembre 1962; OCR; RS 741.11). La visibilité du recourant n'était pas bonne compte tenu de la configuration des lieux (places de stationnement, fontaine, tournant à gauche). Il devait s'attendre en fin de matinée, pendant les vacances scolaires, à rencontrer à tout moment des personnes désirant emprunter la chaussée devant lui, notamment des enfants. Le recourant a par ailleurs admis qu'au moment des faits il y avait du monde des deux côtés. Cela aurait dû l'inciter, à tout le moins, à faire preuve de la prudence particulière exigée par l'art. 41a OCR et à réduire sa vitesse de manière à pouvoir parer à l'éventuel comportement d'un piéton notamment dissimulé derrière des véhicules ou la fontaine. L'autorité précédente a également retenu que l'expérience enseigne que des enfants occupés à jouer s'engagent sur la chaussée et la traversent parfois sans s'assurer qu'elle est libre, ce qui est d'autant plus vrai dans une zone de rencontre où ils peuvent jouer sur toute la chaussée.
3.5. Au vu de ces éléments, le recourant ne saurait prétendre que sa visibilité s'étendait sur plusieurs dizaines de mètres sans être entravée. Il s'écarte du fait constaté que la route tournait à gauche quelques mètres plus loin et qu'il ne pouvait voir le trafic arrivant en contre-sens, après ce tournant. De plus, des piétons et en particulier des enfants pouvaient déboucher sur la route, cela d'autant plus spontanément qu'ils étaient dans une zone de rencontre dans laquelle ils étaient prioritaires et dans laquelle les véhicules étaient censés circuler lentement et d'une manière particulièrement prudente et prévenante. Le fait qu'il ait remonté une rue en pente et donc que sa distance de freinage ait pu de ce fait être réduite ne suffit pas à considérer que sa vitesse, bien supérieure à 20 km/h et proche de la limite de 45 km/h, était adaptée au sens de l'<ref-law>. Par la conduite adoptée, le recourant a violé cette disposition.
Compte tenu de la configuration des lieux, du peu de visibilité - et donc d'anticipation possible - du recourant sur le trafic pouvant surgir en contre-sens et sur les piétons pouvant s'engager sur la route sur laquelle ils étaient prioritaires, le recourant a par sa conduite créé un danger abstrait accru pour, notamment, les piétons présents dans la zone de rencontre qui se sont potentiellement trouvés exposés à un danger pour leur intégrité physique. La violation précitée de l'<ref-law> est objectivement grave au sens de l'art. 90 ch. 2 aLCR.
Subjectivement, l'autorité précédente a constaté que le recourant avait parfaitement conscience qu'il se trouvait dans une zone de rencontre limitée à 20 km/h et n'avait pas tenu compte du fait qu'il mettait en danger les autres usagers, sa préoccupation d'amener des matériaux pour ses employés travaillant sur le chantier l'emportant sur le péril qu'il faisait courir aux autres usagers. Elle a ainsi retenu qu'il n'avait eu aucun égard pour ces derniers. Ce raisonnement ne peut qu'être suivi. Le recourant en roulant aussi vite qu'il l'a fait, alors qu'il savait qu'il traversait une zone limitée à 20 km/h et que sa visibilité était restreinte, a fait preuve à tout le moins d'une négligence grossière et d'une absence de scrupules pour les utilisateurs potentiels de la zone de rencontre. La violation de l'<ref-law> est ainsi subjectivement grave.
Il résulte de ce qui précède que la condamnation du recourant pour violation de l'art. 90 ch. 2 aLCR n'enfreint pas le droit fédéral.
4.
Le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 9 décembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod