Faits :
A.
Le 7 février 2013, l'attention de policiers en patrouille a été attirée par un homme, porteur de deux grandes pancartes, qui interpellait des passants sur la place Saint-François à Lausanne. Lorsque les agents ont procédé à son contrôle, il n'avait plus dites pancartes. Il s'est montré d'entrée oppositionnel envers les policiers et n'a cessé d'élever la voix malgré les nombreuses sommations des agents. Après discussion, il a accepté de présenter sa carte d'identité et a été identifié en la personne de X._. Il a refusé de donner connaissance du contenu des pancartes aux agents. Au terme du contrôle, il a crié de plus en plus fort, notamment lorsque les policiers ont regagné leur véhicule. Son comportement a attiré l'attention de nombreux passants.
B.
X._ a fait opposition aux deux ordonnances successives le sanctionnant pour trouble à la tranquillité et à l'ordre publics (art. 26 du règlement général de la police de la commune de Lausanne; RGP/Lausanne). Par jugement du 17 septembre 2013, le Tribunal de police de l'arrondissement de Lausanne a confirmé cette condamnation et prononcé une amende de 120 fr., la peine de substitution étant fixée, en cas de défaut de paiement fautif, à deux jours.
C.
Par jugement du 29 octobre 2013, le Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ et confirmé le jugement du 17 septembre 2013.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à la réforme du jugement du 29 octobre 2013 en ce sens qu'il est acquitté et qu'une indemnité de 5'000 fr. lui est allouée pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Subsidiairement, il sollicite d'être exempté de toute peine, plus subsidiairement encore que le jugement du 29 octobre 2013 soit annulé et la cause renvoyée à la juridiction cantonale pour nouvelle instruction dans le sens des motifs. Il requie rt l'effet suspensif.
L'autorité précédente et le Ministère public ont renoncé à se déterminer.

Considérant en droit :
1.
Les pièces produites à l'appui du recours, qui ne ressortent pas du jugement entrepris, sont irrecevables (<ref-law>).
2.
La condamnation litigieuse a été prononcée sur la base d'une disposition communale. Sauf dans les cas cités expressément à l'<ref-law>, la violation du droit cantonal ou communal, y compris du droit fédéral appliqué à titre de droit cantonal ou communal supplétif, ne constitue pas un motif de recours en tant que tel. La partie recourante peut uniquement se plaindre que l'application de ce droit par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (<ref-ruling> consid. 2.2 p. 69; sur la notion d'arbitraire, v. <ref-ruling> consid. 2.1 p. 18). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée ( <ref-ruling> consid. 2.2 p. 232).
3.
Le recourant s'en prend aux faits sur lesquels s'est fondée l'autorité précédente pour confirmer sa condamnation.
3.1. Il conteste dans un premier temps le refus de cette autorité d'entrer en matière sur les griefs soulevés dans la procédure d'appel à l'encontre des faits constatés par l'autorité de première instance. A cet égard, il soutient uniquement que l'appel restreint prévu par l'<ref-law> serait contraire à la présomption d'innocence, au principe in dubio pro reo et à l'art. 6 CEDH.
Aux termes de l'<ref-law>, lorsque, comme en l'espèce, seules des contraventions ont fait l'objet de la procédure de première instance, l'appel ne peut être formé que pour le grief que le jugement est juridiquement erroné ou que l'état de fait a été établi de manière manifestement inexacte ou en violation du droit. Aucune nouvelle allégation ou preuve ne peut être produite. Cette disposition s'applique à titre de droit cantonal supplétif (cf. art. 10 al. 1 de la loi vaudoise sur les contraventions, LContr/VD; RS/VD 312.11).
En l'occurrence, le recourant n'expose pas, conformément aux exigences posées par l'<ref-law> et rappelées ci-dessus, que l'un ou l'autre des droits fondamentaux ou disposition conventionnelle qu'il invoque impliquerait que l'autorité d'appel revoit la cause avec un plein pouvoir d'examen en fait. Son moyen est irrecevable. Au demeurant, il est infondé (cf. <ref-ruling>; arrêt 1B_39/2010 du 30 mars 2010 consid. 4).
3.2. La motivation au sens de l'<ref-law> doit se rapporter à l'objet du litige tel qu'il est circonscrit par l'arrêt attaqué (<ref-ruling> consid. 6.4 p. 121). Lorsque celui-ci constitue, comme en l'espèce, une décision de refus de l'autorité d'appel d'entrer en matière sur la constatation des faits par l'autorité de première instance, les motifs développés dans le mémoire de recours doivent porter sur la question de la recevabilité traitée par l'instance précédente à l'exclusion du fond du litige (<ref-ruling> consid. 1b p. 336 s.; arrêt 1B_58/2014 du 15 avril 2014 consid. 1.3).
Les griefs que le recourant formule à nouveau à l'encontre des faits retenus par l'autorité de première instance, auxquels l'autorité précédente était liée faute pour le recourant d'en avoir démontré l'arbitraire durant la procédure d'appel (jugement entrepris, p. 5 ch. 2.2; <ref-law>), sont ainsi irrecevables. Les faits déterminants pour statuer du bien-fondé de la condamnation litigieuse sont uniquement ceux constatés par l'autorité de première instance et repris par l'autorité précédente (<ref-law>; cf. jugement attaqué, p. 3 ch. 2 et supra let. A).
4.
Le recourant conteste avoir troublé l'ordre public.
4.1. Aux termes de l'art. 26 RGP/Lausanne, est interdit tout acte de nature à troubler la tranquillité et l'ordre publics.
4.2. Tels que présentés, les griefs formulés par le recourant ne remplissent pas les exigences de motivation posées par l'<ref-law> (cf. supra consid. 2). Ils sont irrecevables. Au demeurant, qu'une automobile, un train ou une réunion de jeunes enfants puisse faire du bruit sans que l'on puisse songer à les inquiéter (recours, p. 5), n'est pas propre à démontrer que l'autorité cantonale aurait fait une interprétation arbitraire de l'art. 26 RGP/Lausanne en considérant que le comportement du recourant troublait la tranquillité et l'ordre publics.
Le recourant invoque aussi une violation de sa liberté d'expression, garantie par les art. 16 al. 2 Cst. et 10 par. 1 CEDH. On comprend qu'il estime qu'il avait le droit d'exprimer comme il l'a fait son mécontentement face à l'intervention de la police (recours, p. 4 ch. 3 et p. 5 ch. 5 let. a). La portée des art. 16 al. 2 Cst. et 10 CEDH et les conditions permettant de restreindre le droit à la liberté d'expression ont été rappelées par la jurisprudence, à laquelle on peut renvoyer (<ref-ruling> consid. 3.3 p. 322 s. et les références citées). Le recourant n'expose pas, comme l'exige l'<ref-law> (cf. supra consid. 2), dans quelle mesure la restriction prévue par l'art. 26 RGP/Lausanne aurait dans les circonstances d'espèce été infondée et en particulier quelle condition mentionnée ci-dessus n'aurait pas été respectée. Insuffisamment motivé, son grief est irrecevable.
4.3. Le recourant soutient par ailleurs que sa condamnation en vertu de l'art. 26 RGP/Lausanne est arbitraire. Force est de constater qu'à teneur de cette disposition (cf. supra consid. 4.1), aucune sanction pénale n'est prévue en cas de violation de l'interdiction posée. Eu égard au principe nulla poena sine lege, les autorités précédentes ne pouvaient par conséquent pas prononcer, respectivement confirmer l'amende ordonnée en se basant sur cette seule disposition de droit matériel. Elles ne mentionnent aucune autre disposition qui serait le fondement d'une sanction pénale en cas de violation de l'art. 26 RGP/Lausanne. Le principe susmentionné ne peut être vérifié. Dans ces circonstances, la condamnation est arbitraire. Le recours doit être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente afin qu'elle examine, en garantissant les droits de la défense, si une base légale suffisante permet de prononcer à l'encontre du recourant l'amende litigieuse pour la violation commise. Ce qui précède rend sans objet le grief de violation de l'<ref-law>.
5.
Il n'y a pas lieu de prélever des frais (<ref-law>). Le recourant peut prétendre à des dépens à la charge du canton de Vaud (<ref-law>).
La cause étant jugée, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais.
3.
Le canton de Vaud versera au recourant une indemnité de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Cherpillod