Faits :
A.
Par jugement du 17 juillet 2020, le Tribunal de police de l'arrondissement de Lausanne a reconnu A._ coupable de contravention à la Loi vaudoise sur les garanties en matière de baux à loyer (LGBL; BLV 221.307) et l'a condamnée à une amende de 1'000 fr., la peine privative de liberté de substitution en cas de non-paiement fautif ayant été arrêtée à 10 jours. Il a également mis les frais de la cause à sa charge et rejeté la demande d'indemnité formée par A._ en application de l'<ref-law>.
B.
Par jugement du 30 octobre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois, statuant par juge unique, a rejeté l'appel interjeté par A._ à l'encontre du jugement précité et a mis les frais d'appel à sa charge.
Les faits sont, en résumé, les suivants.
A._ est l'administratrice et présidente de la Société B._
Le 30 août 2016, A._ a, en sa qualité de présidente et d'administratrice de B._, conclu un contrat de bail à loyer commercial avec C._ portant sur des locaux commerciaux d'une surface de 42.5 m2 à l'usage d'un kiosque, à U._. Selon l'art. 3 du contrat de bail, une garantie locative de 3'600 fr. devait être déposée sur un compte bancaire relatif au contrat de bail, avec double signature. Afin de constituer une telle garantie, C._ a versé, sur le compte de B._, la somme de 1'200 fr. en date du 12 septembre 2016, ainsi que deux montants identiques en date des 10 octobre 2016 et 1 er novembre 2016.
Le montant total de 3'600 fr. versé au titre de garantie locative est resté sur un compte de dépôt de l'immeuble ouvert par B._ intitulé "garanties locataires" et n'a jamais été versé sur un livret établi au nom du locataire dans un des établissements agréés au sens de l'art. 1 LGBL/VD.
C.
A._ forme un recours en matière pénale au Tribunal fédéral à l'encontre du jugement de la Cour d'appel pénale du 30 octobre 2020. Elle conclut, avec suite de frais et dépens, principalement, à la réforme du jugement entrepris en ce sens qu'elle est libérée du chef de prévention d'infraction à la Loi sur les garanties de loyer, aucune peine n'étant prononcée à son encontre, et en ce sens que sa demande d'indemnité n'est pas rejetée, les frais de la cause étant laissés à la charge de l'État. Subsidiairement, elle conclut à l'annulation du jugement attaqué et au renvoi de la cause devant l'autorité précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
La recourante reproche à la cour cantonale d'avoir constaté les faits de manière arbitraire et violé le principe "in dubio pro reo". Elle lui reproche également d'avoir rendu une décision juridiquement erronée, par quoi l'on comprend qu'elle se plaint d'une violation de l'art. 5 LGBL/VD, en lien avec l'art. 1 LGBL/VD, pour avoir été reconnue coupable d'une infraction à cette disposition.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire cf. <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (ATF <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.1 p. 118; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.1 p. 118; <ref-ruling> consid. 1.1 p. 156).
1.2. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1; <ref-ruling> consid. 2a). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
1.3. Lorsque, comme en l'espèce, le recours en matière pénale est dirigé contre une décision d'une autorité de dernière instance cantonale dont le pouvoir d'examen est limité à l'arbitraire en matière de constatation des faits (cf. <ref-law>), l'examen du Tribunal fédéral porte concrètement sur l'arbitraire du jugement de l'autorité inférieure, à la lumière des griefs soulevés dans l'acte de recours. Pour se conformer aux exigences de motivation rappelées ci-dessus, le recourant doit exposer pourquoi l'autorité cantonale aurait à tort admis ou nié l'arbitraire dans l'appréciation des preuves faite par l'autorité de première instance. Le Tribunal fédéral se prononce librement sur cette question (arrêt 6B_211/2021 du 2 août 2021 consid. 1.1 et les arrêts cités).
1.4. A teneur de l'art. 1 al. 1 LGBL, le bailleur ou son représentant qui reçoit, à raison du bail, des espèces à titre de garantie doit les déposer dans les 10 jours, sur un livret établi au nom du locataire par un établissement soumis à la loi fédérale sur les banques et les caisses d'épargne, du 8 novembre 1934, ayant son siège ou une agence dans le canton de Vaud ou par un autre établissement autorisé par le département en charge du logement. Le livret doit être déposé dans l'un de ces établissements.
Selon l'art. 5 de cette même loi cantonale, celui qui contrevient aux dispositions de la présente loi est passible d'une amende pouvant aller jusqu'à deux mille francs (al. 1). Lorsqu'une infraction a été commise dans la gestion d'une personne morale, d'une société de personnes dépourvue de la personnalité juridique ou d'une maison à raison individuelle, les sanctions sont applicables aux personnes qui ont agi ou auraient dû agir en son nom (al. 4).
La violation du droit cantonal ne constitue pas un grief recevable devant le Tribunal fédéral (cf. <ref-law> a contrario) et celui-ci n'en examine l'application que sous l'angle de l'arbitraire (art. 9 Cst.; cf. encore récemment: arrêts 6B_922/2021 du 24 septembre 2021 consid. 2; 2C_695/2021 du 20 septembre 2021 consid. 4.1), ce qui suppose, dans ce contexte également, qu'un tel moyen ait été invoqué et motivé par le recourant (<ref-law>). Le moyen doit donc avoir été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.1 p. 118; ATF <ref-ruling> consid. 1.1 p. 503).
1.5. En l'espèce, la cour cantonale a écarté l'argumentation soulevée devant elle par la recourante en retenant, en substance, que les dispositions statutaires (art. 13 et 16) de B._ invoquées par elle ne lui permettaient, pas, quoi qu'elle en dise, d'agir comme elle l'avait fait. En outre, dès lors que C._ avait versé le montant convenu à titre de garantie directement en main de la bailleresse, cette dernière, respectivement la recourante, devait le déposer sur un livret établi au nom du locataire dans un établissement répondant aux exigences fixées par la LGBL/VD. Dès lors qu'elle n'avait rien fait et laissé ce montant sur un compte ordinaire dont B._ était seule titulaire, c'était à juste titre que le premier juge avait considéré que la recourante s'était rendue coupable de contravention à l'art. 5 LGBL pour avoir enfreint l'art. 1 de cette même loi. Le montant de l'amende, à savoir 1'000 fr. apparaissait adéquat et correspondait à la faute commise, si bien qu'elle pouvait être confirmée, de même de la peine privative de liberté de substitution de 10 jours en cas d'absence de paiement fautive. La cour cantonale a dès lors rejeté l'appel et confirmé le jugement de première instance.
Bien que la recourante reproche à la cour cantonale d'avoir arbitrairement passé sous silence le fait que C._ avait demandé à être coopératrice de B._, la motivation cantonale permet aisément de comprendre que ce point a été pris en compte et que le juge précédent a expressément écarté l'argumentation que la recourante essayait d'en tirer en lien avec l'art. 13 des Statuts de B._, concernant la souscription de parts sociales. Le grief d'arbitraire dans l'établissement des faits qu'elle soulève à cet égard s'avère ainsi mal fondé. Elle ne démontre pas non plus en quoi la situation financière de la locataire, dont elle se prévaut, aurait été arbitrairement passée sous silence. Quant au grief qu'elle soulève en lien avec le principe "in dubio pro reo", il ne revêt pas, en l'occurrence, de portée propre.
Sur le fond, la recourante critique certes les motifs de sa condamnation, mais l'on ne discerne toutefois pas, dans son mémoire, une quelconque argumentation, conforme aux strictes exigences en la matière (<ref-law>), destinée à démontrer en quoi la cour cantonale aurait arbitrairement appliqué l'art. 5 LGBL. C'est en vain, quoi qu'il en soit, qu'elle souligne ne jamais avoir eu de dessein de s'approprier la garantie de loyer. L'infraction retenue à son encontre ne se rapporte pas à un tel comportement, mais au fait de ne pas verser le montant en cause sur un compte idoine. En tout état, on ne saurait qualifier d'insoutenable, respectivement d'arbitraire, la motivation cantonale.
Enfin, il ne ressort pas du jugement attaqué que la recourante aurait soulevé devant la cour cantonale les arguments tirés des <ref-law>, 52 CP et 106 al. 3 CP, s'agissant de l'erreur de droit et de l'exemption de peine qu'elle invoque dans son mémoire fédéral, ou en ce qui concerne de la quotité de la peine prononcée à son encontre dont elle se plaint. Ce pan de son argumentation et les griefs correspondants s'avèrent ainsi irrecevables (cf. <ref-law>). Il n'apparaît pas, au demeurant, en ce qui concerne la quotité de la peine, que la cour cantonale aurait abusé du large pouvoir d'appréciation dont elle dispose en la matière, en vérifiant d'office ce point.
2.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. La recourante, qui succombe, doit supporter les frais judiciaires (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 octobre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Dyens