Faits:
A.
Par jugement du 26 novembre 2012, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ de l'accusation de contravention par négligence à la loi fédérale sur l'acquisition des immeubles par des personnes à l'étranger, lui a alloué une indemnité fondée sur l'art. 429 al. 1 let a et b CPP de 3000 fr. et laissé les frais à la charge de l'Etat.
B.
Par arrêt du 15 avril 2013, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis les appels formés par le Ministère public et le Département de l'économie de l'Etat de Vaud et rejeté l'appel joint de X._. Il a condamné ce dernier pour contravention par négligence à la loi fédérale sur l'acquisition des immeubles par des personnes à l'étranger à une amende de 1000 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant fixée à 10 jours, mis les frais par 2700 fr. à sa charge, le solde de 2680 fr. 35 étant laissé à la charge de l'Etat, alloué à X._ une indemnité de l'<ref-law> de 2310 fr., et constaté l'extinction partielle de la créance en frais avec la créance en indemnité, le solde en faveur de l'Etat s'élevant à 390 francs.
En bref, il en ressort les éléments suivants.
A D._, le 11 janvier 2008, le notaire X._ a instrumenté un acte constitutif de cédules hypothécaires grevant les parts de PPE de l'immeuble sis à D._ dont la société A._ SA était propriétaire. Cette acte mentionne notamment :
« (...) Par devant X._, notaire à D._, se présente:
au nom de
A._ SA, société anonyme dont le siège est à D._,
B._, domiciliée à D._,
laquelle engage valablement dite société par sa signature individuelle.
A._ SA, par l'organe de sa représentante, expose tout d'abord que la société C._ B.V., lui a octroyé un prêt dont les conditions font l'objet d'une convention séparée, conditionné à la remise par le propriétaire de gages immobiliers pour un montant total de dix millions de francs.
En conséquence, A._ SA déclare créer trois fois deux cédules hypothécaires
AU PORTEUR
du capital respectif de
UN MILLION QUATRE CENT QUARANTE MILLE FRANCS
UN MILLION SEPT CENT QUARANTE MILLE FRANCS
UN MILLION HUIT CENT VINGT MILLE FRANCS
dont elle se reconnaît débitrice (...) »
Le notaire X._ a ensuite adressé une réquisition d'inscription de cet acte constitutif de cédules hypothécaires au Conservateur du Registre foncier du Pays-d'Enhaut.
A réception de cet acte, le Conservateur du Registre foncier du Pays d'Enhaut a relevé qu'il y avait incertitude sur l'assujettissement au régime de l'autorisation. Il a donc invité le notaire X._ à saisir la Commission foncière, section II, autorité compétente en matière de LFAIE.
A la suite de la demande déposée par le notaire X._, la Commission foncière section II a indiqué que les explications fournies ne permettaient pas d'exclure l'application de l'art. 4 al. 1 let. g LFAIE et a demandé des informations supplémentaires. Le 27 novembre 2008, A._ SA a retiré sa réquisition de l'acte constitutif de cédules hypothécaires du 11 janvier 2008.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est acquitté et qu'une indemnité au sens de l'art. 429 al. 1 let. a et b CPP de 20'000 fr. lui est allouée et, subsidiairement, à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité inférieure pour nouvelle décision.
Invités à déposer des observations sur le recours, le Ministère public et la cour cantonale y ont renoncé, cette dernière se référant aux considérants de son arrêt, cependant que le Département de l'économie de l'Etat de Vaud a conclu à son rejet.

Considérant en droit:
1.
1.1. Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - à savoir arbitraire (<ref-ruling> consid. 5.1 p. 356). Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>). Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356 ; <ref-ruling> consid. 6 p. 397).
1.2. Le recourant débute ses écritures par un résumé de la procédure et une présentation personnelle des faits. Dans la mesure où il s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, son exposé est appellatoire, partant irrecevable.
2.
Le recourant conteste s'être rendu coupable de contravention à la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger.
2.1. Aux termes de l'art. 29 de la loi fédérale sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41), quiconque, intentionnellement, fournit à l'autorité compétente, au conservateur du registre foncier ou au préposé au registre du commerce des indications inexactes ou incomplètes sur des faits dont pourrait dépendre l'assujettissement au régime de l'autorisation ou l'octroi de celle-ci, ou exploite astucieusement une erreur de l'autorité, est puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). Quiconque, par négligence, fournit des indications inexactes ou incomplètes, est puni de l'amende jusqu'à 50'000 francs (al. 2).
2.2. Une peine ou une mesure ne peut être prononcée qu'en raison d'un acte expressément réprimé par la loi (<ref-law>). Le principe de la légalité (« nulla poena sine lege ») est aussi ancré expressément à l'art. 7 CEDH. Il se déduit également de l'art. 5 al. 1, 9 et 164 al. 1 let. c Cst. (<ref-ruling> consid. 4.1 p. 19 s.; <ref-ruling> c. 1.1.1 p. 278 et les références citées). Le principe est violé lorsque quelqu'un est poursuivi pénalement en raison d'un comportement qui n'est pas visé par la loi ; lorsque l'application du droit pénal à un acte déterminé procède d'une interprétation de la norme pénale excédant ce qui est admissible au regard des principes généraux du droit pénal; ou si quelqu'un est poursuivi en application d'une norme pénale qui n'a pas de fondement juridique. Le principe s'applique à l'ensemble du droit pénal (<ref-ruling> consid. 4.1 p. 19 s.). Il n'exclut pas une interprétation extensive de la loi à la charge du prévenu (<ref-ruling> consid. 4.1 p. 19 s.; <ref-ruling> consid. 1.2 p. 100 s. et les références citées).
La loi doit être formulée de manière telle qu'elle permette au citoyen de s'y conformer et de prévoir les conséquences d'un comportement déterminé avec un certain degré de certitude dépendant des circonstances (<ref-ruling> consid. 4.1 p. 20 et les références citées). L'exigence de précision de la base légale ne doit cependant pas être comprise d'une manière absolue. Le législateur ne peut pas renoncer à utiliser des définitions générales ou plus ou moins vagues, dont l'interprétation et l'application est laissée à la pratique. Le degré de précision requis ne peut pas être déterminé de manière abstraite. Il dépend, entre autres, de la multiplicité des situations à régler, de la complexité ou de la prévisibilité de la décision à prendre dans le cas particulier, du destinataire de la norme, ou de la gravité de l'atteinte aux droits constitutionnels. Il dépend aussi de l'appréciation que l'on peut faire, objectivement, lorsque se présente un cas concret d'application (<ref-ruling> consid. 6.2 p. 20 et les références citées).
2.3. En substance, la cour cantonale a retenu que l'opération de prêt à laquelle il est fait référence dans l'acte notarié du 11 janvier 2008 pouvait être soumise à autorisation au sens de la LFAIE, ou à tout le moins qu'il n'était pas d'emblée exclu que tel n'était pas le cas. Dès lors, le recourant devait fournir au conservateur du Registre foncier des informations complètes pour analyser cette question, soit, en particulier indiquer la nationalité étrangère ou le siège à l'étranger de la société créancière, pas forcément dans l'acte, mais, par exemple, dans une lettre de transmission. L'abréviation B.V. (beslosten venootschap) désignait certes en droit commercial hollandais les sociétés à responsabilité limitée privées (type Sàrl) mais cette indication, qui n'était pas notoire, était en tant que telle insuffisante pour souligner la problématique de l'assujettissement. Avant de mettre l'acte en suspens, le conservateur du Registre foncier avait ainsi dû procéder à des recherches pour vérifier qu'il ne s'agissait pas d'une entité inscrite au Registre du commerce en Suisse. Subjectivement, on pouvait reprocher au recourant un manque blâmable d'effort dès lors qu'il disposait de tous les éléments pour renseigner correctement les autorités compétentes ou qu'il pouvait facilement les obtenir.
En d'autres termes, il est reproché au recourant d'avoir, par négligence, fourni des informations incomplètes en n'indiquant pas le siège à l'étranger ou la nationalité étrangère de la créancière.
2.4. L'<ref-law> punit celui qui fournit des informations incomplètes sur « des faits dont pourraient dépendre l'assujettissement ». Cette notion n'est pas définie comme telle dans la loi. Pour savoir ce qu'elle recouvre, il convient de se référer aux différents articles de la LFAIE et de l'ordonnance sur l'acquisition d'immeubles par des personnes à l'étranger (OAIE; RS 211.412.411) qui définissent les conditions d'un assujettissement et les différentes notions utiles à l'application de la loi (notamment art. 2 à 7a LFAIE et 1 à 8 OAIE). L'<ref-law> prévoit que sitôt après la conclusion de l'acte juridique ou, à défaut d'un tel acte, sitôt après l'acquisition, toute personne dont l'assujettissement au régime de l'autorisation n'est pas d'emblée exclu doit requérir l'autorisation d'acquérir l'immeuble ou faire constater qu'elle n'est pas assujettie. Ainsi, le but de la norme est de soumettre au contrôle de l'autorité tous les cas où il n'est pas « d'emblée exclu » que la personne n'est pas soumise à autorisation. En d'autres termes, le but de la norme est de permettre aux autorités de déceler aisément quelles situations pourraient être soumises à la LFAIE, respectivement seraient d'emblée exclues. En sanctionnant celui qui fournit des informations inexactes ou incomplètes sur des faits dont pourrait dépendre l'assujettissement, l'<ref-law> ne vise qu'à favoriser ce but.
Sous l'angle du principe de la légalité, le recourant ne pouvait pas nécessairement envisager que la mention B.V., qui attestait du caractère étranger de la société, ne serait pas suffisante et l'absence d'indication du siège de la société constitutive de l'infraction par négligence prévue à l'<ref-law>. Ce d'autant moins que l'information fournie par le recourant, soit la mention B.V. après le nom de la société, a immédiatement fait réagir le conservateur du Registre foncier qui a suspendu la procédure comme le lui permet l'<ref-law>. Après une simple vérification au Registre du commerce, dont on rappelle que les informations qu'il contient, accessibles par Internet, sont des faits notoires (cf. <ref-ruling> consid. 6.2 p. 563 s.), le conservateur a constaté que l'acte dont l'inscription était requise pouvait éventuellement être soumis à autorisation et a requis le recourant de s'adresser à l'autorité compétente. Le but protégé par la norme a ainsi été atteint. Nonobstant l'absence de mention expresse de la nationalité étrangère ou du siège de la société à l'étranger, le comportement du recourant n'est, dans les circonstances du cas d'espèce, pas suffisamment caractérisé pour tomber sous le coup de l'<ref-law>. Par conséquent, la cour cantonale a violé le droit fédéral en condamnant le recourant et celui-ci doit être acquitté de la contravention à l'<ref-law>.
3.
Au vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par le recourant. L'arrêt attaqué doit être annulé et la cause renvoyée à l'autorité précédente pour qu'elle prononce l'acquittement du recourant et pour nouvelle décision sur les frais et dépens de la procédure cantonale, ainsi que sur l'indemnité au sens de l'<ref-law>.
Le recourant obtient gain de cause. Il ne supporte pas de frais (art. 65 al. 2 et 66 al. 1 LTF). Il peut prétendre à de pleins dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis dans la mesure où il est recevable, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 6 février 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet