Faits :
A.
Par jugement du 12 février 2020, le Tribunal de police de l'arrondissement de La Côte a libéré A._ du chef de prévention de tentative d'usure, a mis les frais de la procédure, par 2'343 fr. 15 à sa charge et a refusé de lui allouer une indemnité au sens de l'<ref-law>.
B.
Par jugement du 20 avril 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel interjeté par A._ à l'encontre du jugement de première instance, qu'elle a confirmé, sous suite de frais.
Les faits sont en substance les suivants.
B.a. A._ exerce l'activité d'installateur sanitaire et de chauffagiste au sein de la société B._ Sàrl, dont il est l'associé gérant. Il s'attribue un salaire de 4'500 fr. par mois et a des dettes et des poursuites privées pour plus de 100'000 fr, en relation avec des impôts et des primes d'assurance impayés.
Son casier judiciaire suisse fait état de six condamnations pénales prononcées entre 2011 et 2019.
B.b. Par ordonnance pénale du 3 octobre 2019 valant acte d'accusation en raison de l'opposition formée par A._, le ministère public l'a renvoyé devant le Tribunal de police de l'arrondissement de La Côte.
Il lui était en substance reproché d'avoir, en marge d'une intervention d'urgence au domicile de C._ visant à déboucher la canalisation d'un lavabo, profité de cette situation et de la faiblesse de la capacité de jugement de cette dernière, qui était alors âgée de 87 ans, vivait seule dans son logement et ne gérait plus elle-même une partie de ses affaires administratives. Il lui avait fait signer sur le champ une quittance d'un montant de 1'446 fr. 20, dont elle n'avait pas saisi la signification sur le moment, avant de lui adresser une facture de 1'505 fr. 43 correspondant à la quittance précitée plus 55 fr. de frais de déplacement. L'ordonnance en question retenait que le montant précité était manifestement disproportionné par rapport à la prestation fournie, généralement facturée entre 250 fr. et 400 fr., frais de déplacement inclus. Dite ordonnance retenait également que, par convention conclue par les parties le 16 avril 2019, A._ avait rapporté sa facture de 1505 fr. 43 à 300 francs. C._ avait retiré sa plainte pénale le même jour.
B.c. Le premier juge a retenu une disproportion manifeste entre la prestation fournie par A._ et le montant facturé, mais a considéré que les éléments constitutifs objectifs de la tentative d'usure n'étaient pas réalisées, en raison du doute qui subsistait sur l'éventuel état de faiblesse de la lésée. Il a donc libéré le prénommé du chef de prévention précité, mais a toutefois considéré que la manière de procéder de A._ était déloyale, qu'elle violait les règles et usages en matière de fixation du prix dans le contrat de dépannage et qu'elle discréditait la profession aux yeux de la clientèle. Pour ces motifs, il a astreint A._ au paiement des frais de la cause et a refusé de lui allouer une indemnité au sens de l'<ref-law>.
B.d. Dans son jugement du 20 avril 2020, la cour cantonale a considéré que le premier juge avait à juste titre retenu que A._ avait illicitement et fautivement provoqué l'ouverture de la procédure pénale diligentée à son encontre. La mise des frais de la cause à sa charge, tout comme le refus de lui allouer une indemnité au sens de l'<ref-law>, ne prêtaient pas le flanc à la critique.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour d'appel pénale du Tribunal cantonal vaudois du 20 avril 2020. Il conclut, avec suite de frais et dépens, à la réforme de ce dernier, en ce sens qu'il lui est alloué une indemnité à forme de l'<ref-law> d'un montant de 13'479.75 pour la procédure de première instance et d'un montant de 2'787.15 pour la procédure d'appel et que les frais de la procédure de première instance et d'appel sont laissés à la charge de l'État.

Considérant en droit :
1.
Tout en se référant aux faits établis dans l'arrêt cantonal qu'il dit renoncer à contester devant la cour de céans, le recourant invoque une violation de son droit d'être entendu et fait également grief à la cour cantonale d'avoir violé les <ref-law>, 429 al. 1 let. a CPP et 430 al. 1 let. a CPP.
2.
Le grief de violation du droit d'être entendu soulevé par le recourant étant de nature formelle, il convient de l'examiner en premier lieu.
2.1. Le droit d'être entendu, tel qu'il est garanti par les art. 29 al. 2 Cst. et 3 al. 2 let. c CPP (cf. aussi art. 6 par. 1 CEDH) implique notamment, pour l'autorité, l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 2.1 p. 145). Il n'est pas tenu de discuter tous les arguments soulevés par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté, même si la motivation présentée est erronée (<ref-ruling> consid. 3.2.1 p. 565).
2.2. En l'espèce, le recourant concède que la cour cantonale a bien traité les griefs qu'il a soulevé devant elle en rapport avec les <ref-law> et 430 al. 1 let. a CPP. Il soutient toutefois qu'il a également fait valoir, en appel, à titre subsidiaire, que la mise à la charge des frais de procédure et le refus de lui allouer une indemnité à forme de l'<ref-law> était contraire à l'<ref-law>, aux termes duquel le prévenu ne supporte pas les frais que la Confédération ou le canton ont occasionnés par des actes de procédure inutiles ou erronés.
Le jugement attaqué est certes muet sur ce point. Il n'en demeure pas moins patent que la motivation cantonale concernant l'application des <ref-law> et 430 al. 1 let. a CPP, telle qu'elle sera reprise plus loin, impliquait nécessairement le rejet des griefs soulevés par le recourant sous l'angle de l'<ref-law>. On comprend en effet aisément que, dans la présente cause, la mise des frais à la charge du recourant en application de l'<ref-law> excluait de considérer des actes de procédures inutiles ou erronés au sens de l'<ref-law>.
Il s'ensuit que le grief de violation du droit d'être entendu s'avère mal fondé et qu'il doit être rejeté.
3.
A l'appui de son grief portant sur la violation alléguée des <ref-law>, 429 al. 1 let. a CPP et 430 al. 1 let. a CPP, le recourant soutient qu'on ne saurait lui imputer un comportement illicite et fautif qui aurait justifié la procédure pénale menée à son encontre.
3.1. Conformément à l'<ref-law>, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte. Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'<ref-law>. Le fait reproché doit constituer une violation claire de la norme de comportement. Une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation. La mise des frais à la charge du prévenu en cas d'acquittement ou de classement de la procédure doit en effet rester l'exception (<ref-ruling> consid. 2.2 p. 204 s. et les références citées). Le juge ne peut fonder sa décision que sur des faits incontestés ou déjà clairement établis (<ref-ruling> consid. 2a; arrêts 6B_1462/2020 du 4 février 2021 consid. 2; 6B_660/2020 du 9 septembre 2020 consid. 1.3; 6B_1094/2019 du 25 juin 2020 consid. 2.2).
Selon l'<ref-law>, l'autorité pénale peut réduire ou refuser l'indemnité ou la réparation du tort moral prévues par l'<ref-law>, lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci. L'<ref-law> est le pendant de l'<ref-law> en matière de frais. La question de l'indemnisation (art. 429 à 434 CPP) doit être traitée après celle des frais (arrêts 6B_1462/2020 précité consid. 2; 6B_565/2019 du 12 juin 2019 consid. 5.1; 6B_373/2019 du 4 juin 2019 consid. 1.2). Dans cette mesure, la décision sur les frais préjuge de la question de l'indemnisation. En d'autres termes, si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue, alors que le prévenu y a, en principe, droit si l'État supporte les frais de la procédure pénale (<ref-ruling> consid. 1.8.2 p. 211; <ref-ruling> consid. 2.4.2 p. 357).
Selon la jurisprudence, la violation des devoirs du mandataire envers le mandant peut justifier que les frais soient mis à la charge du premier à l'issue d'une procédure pénale ouverte contre lui (arrêts 6B_650/2019 du 20 août 2019 consid. 3.4; 6B_795/2017 du 30 mai 2018 consid. 1.2; 6B_556/2017 du 15 mars 2018 consid. 2.1). Il en va de même, mutatis mutandis, dans le cadre d'un contrat d'entreprise au sens des <ref-law>. Ainsi, au même titre que le mandataire est, aux termes de l'<ref-law>, responsable envers le mandant de la bonne et fidèle exécution du mandat, l'entrepreneur est, en vertu de l'<ref-law>, soumis aux mêmes règles que le travailleur dans les rapports de travail, ce qui implique qu'il doit exécuter avec soin l'ouvrage qui lui est confié et sauvegarder fidèlement les intérêts légitimes du maître (voir <ref-law>; arrêt 6B_795/2017 précité consid. 1.2).
3.2. En l'espèce, il est constant que le recourant et C._ ont été lié par un contrat d'entreprise, dans le contexte d'une intervention destinée à déboucher la canalisation d'un lavabo. Le recourant évoque lui-même cette qualification. Il ressort en outre du jugement attaqué (<ref-law>) que le recourant a fait signer à la prénommée une reconnaissance de dette pour un prix prohibitif, sans aucun rapport avec la valeur de la prestation fournie. Il est établi qu'il existait une disproportion évidente entre les prestations, sachant de surcroît que l'intervention du recourant s'était inscrite dans un contexte d'urgence, auprès d'une personne âgée de 87 ans vivant seule et ne s'occupant plus que d'une partie de ses affaires administratives. Sur cette base et se référant à l'<ref-law>, la cour cantonale a considéré qu'en faisant immédiatement signer à l'intéressée, lors de son intervention destinée à déboucher la canalisation d'un lavabo, une quittance d'un montant de 1'446 fr. 20, pour des prestations qui ne valaient qu'un tiers du prix, le recourant avait provoqué l'ouverture de l'enquête par un comportement illicite. Ce comportement apparaissait en outre comme fautif, dès lors que le recourant ne pouvait ignorer le grand âge de sa cliente, étant de surcroît relevé qu'il avait par la suite, après l'ouverture de l'instruction pénale à son encontre, réduit drastiquement le montant de sa facture.
Quoi qu'en dise le recourant, on ne saurait considérer que le raisonnement de la cour cantonale serait insoutenable sous l'angle de la présomption d'innocence. La cour cantonale a en effet distingué sans ambiguïté l'acquittement dont il a bénéficié sur le plan pénal - en aucun cas remis en question par le jugement attaqué - de la problématique spécifique de la mise des frais à sa charge sous l'angle de l'<ref-law>. C'est en vain, de surcroît, que le recourant s'en prend à la motivation cantonale, en tant qu'il y est fait référence à l'<ref-law>. En effet, il découle de la jurisprudence susmentionnée (arrêt 6B_795/2017 précité consid. 1.2; cf. supra consid. 3.1 i. f.) que la violation des obligations de l'entrepreneur à l'égard du maître peut, tout comme la violation des obligations du mandataire à l'égard du mandant, justifier que les frais soient mis à la charge du premier à l'issue d'une procédure pénale ouverte contre lui. Or, les faits retenus par la cour cantonale, que le recourant a expressément précisé ne pas contester, permettent de retenir, compte tenu de la disproportion évidente des prestations et des circonstances dans lesquelles le recourant a fait signer la quittance litigieuse, une violation tout aussi évidente et fautive des obligations contractuelles du recourant à l'égard de C._. Dans cette mesure, il est manifeste que le comportement du recourant était de nature à provoquer le dépôt d'une plainte pénale et à justifier l'ouverture d'une instruction destinée à déterminer si un tel comportement, adopté au détriment d'une personne âgée de 87 ans, était constitutif d'une infraction pénale. Au demeurant, c'est bien la disproportion constatée, et non un simple tarif supérieur au tarif usuel dont le recourant semble se prévaloir, qui est à l'origine de la présente procédure pénale. Les dénégations du recourant quant à l'existence d'un lien de causalité entre son comportement et l'ouverture de la procédure pénale diligentée à son encontre sont ainsi dénuées de consistance.
Il s'ensuit que les griefs du recourant s'avèrent mal fondés. La cour cantonale n'a donc pas violé le droit fédéral en confirmant la mise à sa charge des frais de la cause en application de l'<ref-law> et le refus de lui allouer une indemnité à forme de l'<ref-law>.
4.
Au vu de ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 mars 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Dyens