Faits :
A.
Le 2 avril 2013, vers 14 h 25, devant la gare CFF de Vevey, X._ a garé le véhicule qu'il conduisait hors de toute case de stationnement.
B.
Par ordonnance pénale du 25 juin 2013, la Commission de police de l'Association Sécurité Riviera a condamné X._ pour violation des art. 27 al. 1 LCR et 79 al. 1 ter OSR à une amende de 60 fr., la peine privative de liberté de substitution étant d'un jour.
Statuant par jugement du 24 septembre 2013, à la suite de l'opposition formée par X._, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._ pour contravention aux art. 27 al. 1 LCR et 79 al. 1 ter OSR à une amende de 40 fr., la peine privative de liberté de substitution étant d'un jour.
C.
Par jugement du 29 novembre 2013, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre ce jugement et confirmé cette décision.
D.
X._ forme un recours en matière pénale et un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre le jugement du 29 novembre 2013. Il conclut à son acquittement et à l'octroi d'une indemnité adéquate.
Le ministère public et la Cour d'appel pénale ont renoncé à se déterminer sur le recours.

Considérant en droit :
1.
Le jugement attaqué est final et a été rendu dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale (art. 78 ss LTF), qui permet d'invoquer notamment toute violation du droit fédéral, y compris des droits constitutionnels (art. 95 let. a LTF). Le recours constitutionnel subsidiaire est donc exclu (art. 113 LTF).
2.
Le recourant conteste sa condamnation fondée selon l'autorité cantonale sur les art. 27 al. 1 LCR et 79 al. 1 ter OSR. Il estime que le marquage des places jaunes devant la gare de Vevey était illicite, de sorte qu'une interdiction de parcage ne pouvait subsister.
2.1. L'art. 27 al. 1 de la loi fédérale sur la circulation routière du 19 décembre 1958 (LCR; 741.01) ordonne à chacun de se conformer aux signaux et aux marques ainsi qu'aux ordres de la police. Les signaux et les marques priment les règles générales. Les ordres de la police ont le pas sur les règles générales, les signaux et les marques.
L'art. 79 de l'ordonnance sur la signalisation routière du 5 septembre 1979 (OSR; RS 741.21) règle les marques régissant l'arrêt ou le stationnement des véhicules. Selon son alinéa 1, les cases de stationnement peuvent être marquées partout où un plan de parcage déterminé doit être créé pour compléter la signalisation. Aux termes de son alinéa 1 bis, les cases de stationnement sont délimitées par des lignes continues; à la place des lignes continues, on peut utiliser un marquage partiel; les marques sont blanches; pour les cases qui ne sont destinées qu'à un cercle déterminé de personnes, elles sont jaunes. En vertu de l'art. 79 al. 1 ter OSR, là où sont délimitées des cases de stationnement, les véhicules doivent stationner uniquement dans les limites de ces cases. Les cases de stationnement ne doivent être utilisées que par les véhicules des catégories pour lesquelles elles ont été dimensionnées; la signalisation est régie par l'art. 48 al. 11 OSR. Selon cette disposition, lorsqu'un emplacement où il est permis de parquer n'est destiné qu'à certaines catégories de véhicules, les symboles de ces véhicules seront ajoutés dans le champ bleu du signal de parcage ou sur une plaque complémentaire. En vertu de l'art. 79 al. 4 OSR, les cases interdites au parcage (jaunes avec deux diagonales qui se croisent; cf. croquis 6.23) interdisent de parquer à l'endroit marqué (art. 30 al. 1 2 ème phrase OSR).
2.2. L'autorité précédente a retenu que le recourant ne paraissait plus contester avoir garé son véhicule hors des cases de stationnement jaunes délimitées devant la gare de Vevey et que c'était en vain qu'il soutenait que la municipalité n'aurait pas établi un plan de parcage conforme à l'art. 79 al. 1 OSR. De l'obligation de stationner uniquement dans les cases, la jurisprudence a déduit une interdiction de stationner hors des cases. Il n'était donc pas nécessaire d'examiner la question de savoir si c'était à juste titre que des cases jaunes avaient été créées devant la gare, dès lors qu'il est de toute manière établi que le recourant avait stationné en dehors de toute case, comportement en soi illicite (jugement entrepris, p. 5).
2.3. De l'obligation de stationner dans les cases, prescrite par l'art. 79 al. 1 ter OSR, la jurisprudence a effectivement déduit une interdiction de stationner hors des cases. Elle a néanmoins précisé la portée de cette interdiction, jugeant que celle-ci s'appliquait au trottoir adjacent de la chaussée et, dans une rue droite qui n'est pas interrompue par des intersections, sur une distance correspondant à la longueur de cinq à six voitures au-delà de la limite des cases marquées (cf. <ref-ruling> consid. 2 p. 395 et les arrêts cités). La portée de cette interdiction n'était stoppée, sur une telle distance, que si la route était de fait, manifestement, interrompue, à l'instar de ce qui se passe en présence d'un croisement. Tel n'était pas le cas, lorsque l'un des trottoirs bordant la route n'était pas interrompu par l'obstacle invoqué, en l'espèce des entrées de cours ou des portails (arrêt 6S.717/1993 du 25 juillet 1994 consid. 2d).
2.4. Il résulte de ce qui précède que le seul fait de stationner hors de toute case ne viole pas en soi l'art. 79 al. 1 ter OSR. Il convient au contraire, afin de vérifier l'existence d'une violation des art. 27 al. 1 LCR et 79 al. 1 ter OSR, d'examiner s'il existait à proximité directe de l'emplacement litigieux une obligation de stationner dont on pouvait déduire une interdiction de parquer sur dit emplacement.
Le jugement attaqué ne constate pas la nature des places qu'il indique comme des places de stationnement mises à disposition au moment des faits (jugement, p. 3). Il ressort néanmoins clairement des photos versées au dossier cantonal que ces places sont traversées de deux diagonales qui se croisent (pièce 8 annexes 5, 7, 8 et 9; art. 105 al. 2 LTF). Il s'agit donc de places interdites au parcage (art. 79 al. 4 OSR). En plus du marquage, un signal ou l'indication d'un cercle déterminé de personnes n'est pas nécessaire (cf. <ref-ruling> consid. 2). On ignore ainsi sur quelle base le jugement attaqué retient la présence de trois places de stationnement à disposition. Les places en question apparaissent plutôt destinées à laisser monter ou descendre des passagers (cf. art. 30 al. 1 2 ème phrase et 79 al. 4 OSR). A ce stade du raisonnement et à défaut d'autre indication dans le jugement attaqué, il faut donc partir de l'idée que le marquage apposé interdit le parcage sur les places en question.
Le recourant conteste certes la validité de ce marquage. Il n'établit toutefois pas que les conditions pour en retenir la nullité seraient réalisées (cf. <ref-ruling>). Il faut ainsi prendre en compte que les places étaient valablement interdites de parcage. Dans ce cas, l'autorité précédente ne pouvait retenir à charge du recourant une obligation d'y parquer son véhicule, dont pouvait être déduite, en application de la jurisprudence précitée, une interdiction de parquer dans les environs directs. Cette jurisprudence n'est pas applicable ici.
Le jugement entrepris ne mentionne pour le surplus pas la violation d'une autre norme de circulation en matière de parcage, ni la présence d'une marque ou d'un signal interdisant le parcage à l'endroit où le recourant avait parqué le véhicule qu'il utilisait. Il ne constate pas non plus l'existence d'une obligation de parquer dans des cases, se trouvant à moins de cinq à six véhicules de cet endroit, dont on pourrait déduire une interdiction de parquer à cet emplacement, conformément à la jurisprudence précitée (supra consid. 2.3). Dans ces circonstances, la condamnation reposant sur les art. 27 al. 1 LCR et 79 al. 1 ter OSR ne peut qu'être annulée et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
3.
Le recours en matière pénale doit être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouveau jugement.
Il se justifie de statuer sans frais (art. 66 al. 1 et 4 LTF). Le recourant, qui a procédé sans l'assistance d'un avocat, n'a pas droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière pénale est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouveau jugement.
3.
Il n'est pas perçu de frais judiciaires ni alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 novembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Cherpillod