Faits:
A.
Par jugement du 24 avril 2013, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré B._ et A._ de l'accusation d'infraction à l'art. 130 LATC/VD (loi sur l'aménagement du territoire et les constructions du 4 décembre 1985, RS/VD 700.11) et leur a alloué une indemnité selon l'<ref-law> de 18'000 francs.
Saisi d'un appel du Ministère public, le Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a admis par jugement du 26 juin 2013, a reconnu B._ et A._ coupables d'infraction à la LATC/VD, ceux-ci étant condamnés à une amende de 500 fr. chacun, la peine privative de liberté de substitution étant fixée à cinq jours.
B.
B._ et A._ forment un recours en matière pénale au Tribunal fédéral contre le jugement du 26 juin 2013, concluant, avec suite de dépens, à leur acquittement et à l'allocation d'indemnités selon le jugement du Tribunal de police.
Le ministère public se réfère au jugement attaqué ainsi qu'à sa déclaration d'appel et conclut au rejet du recours. Le Président de la cour cantonale se réfère au jugement attaqué.

Considérant en droit:
1.
1.1. Le recours en matière pénale est ouvert contre les décisions rendues en matière pénale (<ref-law>). Cette notion comprend toutes les décisions fondées sur le droit pénal matériel ou sur le droit de procédure pénale. Est en principe susceptible d'un recours en matière pénale toute décision relative à la poursuite ou au jugement d'une in-fraction fondée sur le droit fédéral ou cantonal. En l'espèce, l'objet du recours est une amende, fondée sur une disposition pénale de droit cantonal. Le recours en matière pénale (et non celui en matière de droit public) est donc ouvert (cf. arrêt 6B_15/2012 du 13 avril 2012 consid. 1.1 et les références citées).
1.2. La violation du droit cantonal ne constitue pas un motif de recours en tant que tel (cf. <ref-law>). La partie recourante peut uniquement se plaindre de ce que l'application du droit cantonal par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (art. 9 Cst.; <ref-ruling> consid. 2.2 p. 69). Le Tribunal fédéral n'examine la violation arbitraire de dispositions de droit cantonal que si ce grief a été invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.2 p. 69). En matière d'application du droit cantonal, l'arbitraire et la violation de la loi ne sauraient être confondus. Une violation de la loi doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire (<ref-ruling> consid. 5.1 p. 18).
1.3. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445).
2.
Les recourants ont été condamnés en vertu de l'art. 130 LATC/VD, qui punit d'une amende de 200 fr. à 200'000 fr. celui qui contrevient à la LATC/VD, aux règlements d'application tant cantonaux que communaux ou aux décisions fondées sur ces lois ou règlements. La condamnation repose en l'espèce sur deux motifs indépendants, qui fondent chacun et séparément une infraction selon la disposition précitée. Il s'agit d'une part du non-respect de l'habillage des murs préconisé par l'autorisation de construire, d'autre part du non-respect des directives de protection incendie concernant les gaines des conduits de fumée, dites directives devant être respectées selon l'autorisation de construire.
3.
Pour ce qui concerne la condamnation relative à l'habillage des murs, l'autorité précédente a relevé que l'exigence du permis de construire imposant des murs en pierre type "mur de vigne" ne violait pas la loi ni ne constituait un abus du pouvoir d'appréciation de l'autorité communale. La violation des conditions posées dans le permis de construire à cet égard suffisait à justifier une condamnation en vertu de l'art. 130 LATC/VD (jugement, p. 9 et 10).
Les recourants invoquent de manière générale la présomption d'innocence, l'interdiction de l'arbitraire, la violation de leur droit d'être entendus. Ce faisant, ils ne formulent aucun grief recevable. Leur mémoire contient une libre discussion des faits retenus. Purement appellatoire, cette manière de procéder est irrecevable. Les recourants n'exposent pas non plus en quoi le droit cantonal aurait été appliqué de manière arbitraire. Ils ne s'efforcent en particulier pas de démontrer en quoi il était insoutenable d'admettre la légalité de l'autorisation de construire imposant des murs en pierre type "mur de vigne". Ils se contentent de procéder à une libre discussion juridique en passant en revue diverses dispositions cantonales, à l'instar de ce qu'ils avaient fait dans leur mémoire cantonal. De la sorte, ils ne respectent pas les exigences minimales de motivation (<ref-law>). Leurs critiques sont irrecevables. Ils laissent aussi entendre que leur droit d'être entendus aurait été violé dès lors qu'une inspection locale a été refusée. Ils n'exposent toutefois pas en quoi une telle inspection par l'autorité d'appel aurait été indispensable. Leur condamnation ne repose pas sur un état de fait différent de celui retenu en première instance mais sur le non-respect de l'autorisation de construire, dont la légalité ne prête pas flanc à la critique selon l'autorité précédente. En définitive, les recourants n'articulent aucune critique recevable en vertu de l'<ref-law> en tant que leur condamnation selon le droit cantonal repose sur la question de l'habillage des murs. Leur recours est irrecevable à cet égard.
4.
Pour ce qui concerne la condamnation reposant sur le non-respect des directives de protection incendie concernant les gaines des conduits de fumée, les recourants invoquent notamment une violation de leur droit d'être entendus en raison du refus de procéder à une inspection locale, d'assigner un témoin (le directeur de l'Etablissement d'assurance contre l'incendie et les éléments naturels du canton de Vaud) et de commettre un expert.
4.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.3.2 p. 469; <ref-ruling> consid. 3.1 p. 277). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236).
4.2. L'autorité précédente a mentionné que selon l'<ref-law>, l'état de fait ne pouvait être revu que s'il était manifestement inexact et qu'aucune allégation ou preuve nouvelle ne pouvait être produite. Elle en a conclu qu'il n'y avait pas lieu de donner suite aux réquisitions de preuves des recourants (jugement p. 7).
4.3. Le Tribunal de police avait considéré que les conduits de fumée litigieux respectaient les directives techniques de protection contre l'incendie et que les exigences du ramoneur officiel semblaient les excéder. Il a ainsi exclu l'application de l'art. 130 LATC/VD pour ce qui avait trait aux conduits de fumée (cf. jugement de première instance, p. 12 in fine et 13). L'autorité précédente a quant à elle relevé que le Tribunal de police n'avait procédé à aucune constatation sur le degré de résistance des conduits ou sur la présence de matériau incombustible dans les espaces vides. Elle s'est référée aux explications du ramoneur et a conclu que les faits retenus en première instance étaient manifestement inexacts au sens de l'<ref-law>. Elle a ainsi retenu une violation des directives de protection contre l'incendie, ce qui justifiait une condamnation en vertu de l'art. 130 LATC/VD.
Les recourants ne formulent aucune critique relative à la portée de l'<ref-law>, lequel s'applique en l'occurrence à titre de droit cantonal supplétif (cf. art. 130 al. 1 2 ème phrase LATC/VD et 10 de la loi vaudoise du 19 mai 2009 sur les contraventions [LContr, RS/VD 312.11]). Quoi qu'il en soit, ils avaient sollicité en première instance les mesures d'instruction dont ils se prévalent (cf. pièce 7) et ont réitéré cette requête devant l'instance d'appel. Le Tribunal de police a donné suite à la requête d'inspection locale et, préalablement aux débats, a rejeté en l'état la requête de témoignage et d'expertise, relevant qu'elle serait réexaminée aux débats (cf. pièce 9). Il ne ressort pas du procès-verbal des débats de première instance que tel a été le cas. Les recourants ont été acquittés en première instance. L'autorité d'appel s'est quant à elle fondée sur d'autres faits que ceux retenus en première instance puisqu'elle a conclu que les directives techniques contre l'incendie n'avaient pas été respectées. En se distanciant des faits retenus en première instance, elle ne pouvait pas rejeter la requête de mesures d'instruction en se retranchant derrière l'<ref-law> qui exclut la production de nouvelles allégations ou preuves. Dans les conditions d'espèce, elle devait bien plutôt expliquer en quoi les mesures d'instruction requises, qui n'avaient pas été administrées en première instance sans préjudice pour les recourants qui avaient été acquittés, étaient dénuées de pertinence par rapport à la question du respect des directives techniques, dont elle admettait désormais la violation. Cela ne va pas de soi. A défaut de toute motivation à cet égard, il n'est pas possible de retenir que l'autorité d'appel aurait procédé à une appréciation anticipée des preuves qui serait exempte d'arbitraire. Il s'ensuit que le droit d'être entendus des recourants a été violé. Cela justifie l'admission du recours sur cet aspect, sans qu'il soit nécessaire d'examiner les autres griefs des recourants en tant que leur condamnation repose sur le non-respect des directives techniques contre l'incendie.
5.
En conclusion, le recours doit être partiellement admis dans le sens qui précède et est irrecevable pour le surplus. Les recourants peuvent prétendre à des dépens réduits, à la charge du canton de Vaud. Dans la mesure où leur recours est irrecevable, ils doivent supporter une part des frais.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le canton de Vaud versera aux recourants, créanciers solidaires, la somme de 1'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod