Faits :
A.
Par jugement du 14 août 2019, le Tribunal de police de l'arrondissement de le Broye et du Nord vaudois a libéré A._ du chef de prévention de contravention à la Loi sur l'aménagement du territoire et des constructions, a constaté qu'il s'était rendu coupable d'usure, d'incitation qualifiée au séjour illégal, d'emploi répété d'étrangers sans autorisation et de conduite sans autorisation. Il l'a condamné à une peine privative de liberté de 10 mois et à une peine pécuniaire de 30 jours-amende, le montant du jour-amende étant fixé à 90 fr., et a mis les frais de la cause à sa charge.
B.
Par jugement du 12 décembre 2019, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a partiellement admis l'appel formé par A._ contre ce jugement et a réformé celui-ci en ce sens que le prénommé a été condamné à une peine privative de liberté de 9 mois ainsi qu'à une peine pécuniaire de 60 jours-amende, le montant du jour-amende étant fixé à 90 francs. Elle a confirmé le jugement pour le surplus et a mis les frais de la procédure d'appel, par quatre cinquième, à la charge de A._, un cinquième étant laissé à la charge de l'Etat. Les faits retenus en lien avec l'infraction d'usure sont en substance les suivants.
Entre mars 2015 et le 15 janvier 2016, A._ a logé, dans deux appartements aménagés dans les combles et le sous-sol d'un immeuble appartenant officiellement à son épouse, mais dont il était le propriétaire de fait, à tout le moins 5 compatriotes, dépourvus d'autorisation de séjour et de travail en Suisse, dans un appartement de 3.5 pièces au sous-sol et 5 autres dans les combles qui représentaient une surface de 2.5 pièces pour un loyer allant de 500 fr. à 750 fr. par mois et par personne. Il avait lui-même aménagé les deux appartements sans aucune autorisation et au mépris des règles de la police des constructions (l'appartement au sous-sol de 3.5 pièces ne respectait pas les normes sur les surfaces éclairantes et les normes incendie et l'appartement sous les combles de 2.5 pièces ne respectait pas les normes d'éclairage, de hauteur minimale et les normes incendie).
A teneur de l'extrait de son casier judiciaire, A._ a été condamné le 9 mars 2009 à une peine pécuniaire de 30 jours-amende à 30 fr. avec sursis durant 2 ans, pour séjour illégal et activité lucrative sans autorisation; le 7 juin 2012 à une peine pécuniaire de 15 jours-amende à 50 fr. avec sursis durant 2 ans (sursis révoqué le 30.07.2013) et à une amende de 400 fr., pour conduite d'un véhicule automobile sans le permis de conduire requis; le 7 janvier 2013 à une peine pécuniaire de 60 jours-amende à 50 fr. dont 30 jours avec sursis durant 3 ans (sursis révoqué le 30 juillet 2013) pour emploi d'étrangers sans autorisation; le 30 juillet 2013 à une peine pécuniaire de 180 jours-amende à 50 fr., pour emploi répété d'étrangers sans autorisation; le 17 janvier 2014 à une peine pécuniaire de 50 jours-amende à 90 fr., et à une amende de 400 fr., pour violation des règles de la circulation routière, conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis et violation des obligations en cas d'accident; le 15 avril 2014 à une peine pécuniaire de 80 jours-amende à 90 fr. et à une amende de 100 fr., pour conduite d'un véhicule automobile sans le permis de conduire requis et violation des règles de la circulation routière; le 2 février 2015 à une peine pécuniaire de 100 jours-amende à 50 fr., pour conduite d'un véhicule sans le permis de conduire requis; le 26 août 2015 à une peine pécuniaire de 50 jours-amende à 35 fr., pour emploi d'étrangers sans autorisation et emploi répété d'étrangers sans autorisation.
C.
A._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme du jugement entrepris en ce sens qu'il est libéré du chef de prévention d'usure, qu'il est constaté qu'il s'est rendu coupable d'incitation qualifiée au séjour illégal, d'emploi répété d'étrangers sans autorisation et de conduite sans autorisation, et qu'il est condamné à une peine privative de liberté de 5 mois assortie du sursis pendant 5 ans ainsi qu'à une peine de 60 jours-amende, le montant du jour-amende étant fixé à 90 francs.

Considérant en droit :
1.
Le recourant conteste s'être rendu coupable d'usure au sens de l'<ref-law>. Il fait valoir que les éléments constitutifs de l'infraction ne sont pas réalisés.
1.1. Aux termes de l'<ref-law>, celui qui aura exploité la gêne, la dépendance, l'inexpérience ou la faiblesse de la capacité de jugement d'une personne en se faisant accorder ou promettre par elle, pour lui-même ou pour un tiers, en échange d'une prestation, des avantages pécuniaires en disproportion évidente avec celle-ci sur le plan économique.
L'infraction réprimée à l'<ref-law> suppose la réalisation des éléments constitutifs objectifs suivants: une situation de faiblesse de la victime, l'exploitation de cette situation de faiblesse, l'échange d'une contre-prestation, une disproportion évidente entre l'avantage pécuniaire et la contre-prestation ainsi que l'existence d'un rapport de causalité entre la situation de faiblesse et la disproportion des prestations (arrêt 6B_388/2018 du 13 septembre 2018 consid. 1). Du point de vue subjectif, l'infraction est intentionnelle. Le dol éventuel suffit (<ref-ruling> consid. 7.2 p. 109). L'intention doit porter sur la disproportion évidente entre la prestation et la contre-prestation ainsi que sur la situation de faiblesse de la victime (arrêt 6S.6/2007 du 19 février 2007 consid.3.3 publié in DB 2008 p. 58).
1.1.1. Parmi les situations de faiblesse visées par l'<ref-law>, l'état de gêne s'entend de tout état de contrainte qui influe si fort sur la liberté de décision de la personne lésée qu'elle est prête à fournir une prestation disproportionnée (<ref-ruling> consid. 2 p. 137; cf. aussi pour l'exigence d'une contre-partie, <ref-ruling> consid. 2 p. 343 s.; arrêt 6B_388/2018 précité consid. 1). Il ne s'agit pas nécessairement d'une gêne financière et elle peut être seulement passagère. Il faut procéder à une appréciation objective de l'état de gêne (arrêt 6S.6/2007 précité consid. 3.2.1 et les références citées). Le consentement de la victime n'exclut pas l'application de l'<ref-law>. Il en est au contraire un élément (<ref-ruling> consid. 2b p. 149). La jurisprudence a notamment admis la gêne dans le cas d'une personne se trouvant dans le besoin extrême de trouver un toit pour se loger, par exemple en cas de pénurie de logements (cf. <ref-ruling> consid. 5 p. 90; <ref-ruling> consid. 2 p. 137), de même que pour une personne temporairement sans permis de séjour, sans ressources et nécessitant un logement pour accueillir aussi bien son enfant que recevoir une aide financière, ou encore pour un locataire sans emploi, à l'aide sociale, rencontrant des problèmes de santé (cf. arrêt 6B_388/2018 précité consid. 1.2).
En l'espèce, le recourant ne conteste pas les constatations cantonales, qui lient le Tribunal fédéral (<ref-law>), selon lesquelles les personnes logées, originaires du Kosovo, venaient d'arriver en Suisse sans leur famille et se trouvaient dépourvues de permis de séjour et d'autorisation de travail. Compte tenu de leur situation irrégulière en Suisse, ces personnes ne pouvaient pas s'adresser à une gérance pour trouver un logement, et étaient obligées d'accepter l'offre de logement du recourant avec les loyers proposés. Ces circonstances fondent un état de gêne de nature à les entraver dans leur liberté de décision. Le recourant ne discute du reste pas (<ref-law>) la réalisation de cet élément constitutif de l'infraction.
1.1.2. En ce qui concerne l'exploitation de la situation de faiblesse de la victime, cet élément suppose que l'auteur agisse de manière consciente en vue de se faire accorder ou promettre, pour lui-même ou pour un tiers, un avantage pécuniaire dont la valeur patrimoniale est dans une disproportion évidente par rapport à celle qui est accordée en retour (<ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 3 p. 137).
A cet égard, le recourant ne prétend pas avoir ignoré la situation de gêne des intéressés et ne conteste pas s'être procuré un avantage pécuniaire contre la mise à disposition des logements. Il se borne à faire valoir qu'il n'a pas exploité la situation de gêne des intéressés au motif qu'il voulait uniquement rendre service à des compatriotes, en leur évitant, vu leur absence de statut en Suisse, d'être contraints à dormir dehors comme des "sans abris" et qu'il n'était pas mû par l'appât du gain. Ce faisant, il avance un mobile qui ne ressort pas des faits constatés et qui, de toute manière, serait sans portée dès lors qu'il subsiste le fait que le recourant, en pleine connaissance de la situation vulnérable de ses compatriotes, a exploité celle-ci pour se procurer un avantage pécuniaire en contrepartie de la mise à disposition des logements incriminés. Il admet du reste que ses compatriotes "ne disposaient d'aucun moyen pour obtenir la location d'une chambre par un autre biais, aucune gérance n'entrant en matière pour des personnes sans statut dans notre pays et sans emploi assuré", signant par là de son propre aveu l'exploitation de la gêne (acte de recours let. d p. 8). Pour le surplus, le grief se confond avec celui de l'intention examiné ci-après.
1.1.3. L'<ref-law> suppose encore que l'auteur obtienne l'avantage patrimonial "en échange d'une prestation". L'usure ne peut donc intervenir que dans le cadre d'un contrat onéreux (<ref-ruling> consid. 7.2 p. 109; <ref-ruling> consid. 3c p. 142). Le contrat de bail conclu avec les intéressés est un contrat onéreux. Le recourant ne discute pas la réalisation de cet élément constitutif de l'infraction.
1.1.4. L'avantage pécuniaire obtenu doit être en disproportion évidente, sur le plan économique, avec la prestation fournie. Elle doit être évaluée de manière objective (<ref-ruling> consid. 7.2 p. 109). Le rapport entre la prestation et la contre-prestation se mesure dans le cas normal selon le prix ou la rémunération usuels pour des choses ou des services de même espèce (<ref-ruling> consid. 2 p. 87 s.; <ref-ruling> consid. 1 p. 134; arrêts 6B_707/2016 du 16 octobre 2017 consid. 2; 6B_387/2008 du 15 août 2008 consid. 2.2). Dans le cas de logements donnés à bail, il y a lieu de procéder à une comparaison entre le prix usuel perçu pour un logement analogue, lequel représente la valeur objective, et celui qui a été perçu, sur le même marché local, dans le cas concret (<ref-ruling> consid. 2 p. 87; <ref-ruling> consid. 1 p. 134; arrêt 6B_29/2009 du 29 septembre 2009 consid. 1.2, publié in SJ 2010 I 105).
Sur ce point, la cour cantonale a relevé que les appartements n'étaient pas susceptibles d'être mis en location selon les normes de la Loi vaudoise sur l'aménagement du territoire et les construction du 4 décembre 1985 (LATC, dans sa teneur en vigueur jusqu'au 31 août 2018, BLV 700.11), de sorte que l'intégralité du loyer était disproportionnée. Le recourant avait ainsi demandé une somme variant entre 2'500 fr. et 3'750 fr. par mois pour cinq personnes, selon que l'on applique un loyer mensuel par locataire de 500 fr. ou de 750 fr. Le recourant objecte que le prix du loyer de 500 fr. à 750 fr. qu'il percevait par locataire correspond à celui des loyers pratiqués dans la région pour un studio. Ce faisant, il omet de considérer que, dans la mesure où ces logements n'étaient pas propres à la location, ce qu'il ne conteste pas, la cour cantonale n'avait pas à procéder à une comparaison avec les loyers usuels dans le quartier mais pouvait en conclure que l'intégralité du loyer était en disproportion avec la prestation fournie par le recourant (dans ce sens, arrêt 6B_388/2018 du 13 septembre 2018 consid. 1.2). Pour le surplus, qu'il ait logé gratuitement certains compatriotes est sans pertinence quant au fait que les loyers qu'il demandait aux autres étaient disproportionnés. Son grief tombe à faux.
1.1.5. Enfin, la disproportion doit être en lien de causalité avec la situation de faiblesse de la victime; autrement dit, l'auteur doit avoir exploité cette situation et il faut que celle-ci ait amené l'autre partie à fournir ou promettre un avantage pécuniaire en disproportion évidente avec la prestation reçue en échange (CORBOZ, Les infractions en droit suisse Vol. I, 3 e éd. 2010, n° 39 ad art. 157 et les références citées). Le recourant ne discute pas plus avant la réalisation de cet élément constitutif qui, au vu de ce qui précède, est réalisé, comme l'a retenu la cour cantonale.
1.1.6. S'agissant de l'élément subjectif de l'infraction, il faut que l'auteur sache, au moins sous la forme du dol éventuel, que l'autre partie se trouve dans une situation de faiblesse. Il doit également connaître, au moins sous la forme du dol éventuel, la disproportion entre les prestations. Enfin, il doit avoir conscience, au moins sous la forme du dol éventuel, que la situation de faiblesse motive l'autre partie à accepter la disproportion évidente entre les prestations (<ref-ruling> consid. 7.2 p. 109 et la réf. citée).
Le recourant ne conteste pas avoir eu conscience de la situation de faiblesse des intéressés et du fait que cette situation était à l'origine de leur acceptation des conditions de logement proposées par le recourant, étant rappelé qu'il admet que ses compatriotes ne disposaient d'aucun moyen pour pouvoir obtenir la location d'une chambre par un autre biais. Il n'ignorait pas davantage que les locaux étaient impropres à la location et que le loyer demandé était dès lors disproportionné. Outre le fait qu'il n'a pas démontré avoir agi pour rendre service, ce motif n'est pas de nature à exclure une intention concomitante de se procurer un avantage disproportionné en escomptant sur la situation de faiblesse de la victime. L'élément intentionnel est réalisé.
1.2. C'est ainsi sans violer le droit fédéral que la cour cantonale a reconnu le recourant coupable d'usure.
2.
Le recourant soutient qu'il aurait dû être mis au bénéfice d'un sursis complet à l'exécution de la peine privative de liberté. Il reproche à l'autorité cantonale d'avoir arbitrairement omis de considérer certains éléments.
2.1. Aux termes de l'<ref-law>, dans sa teneur jusqu'au 31 décembre 2017, le juge suspend en règle générale l'exécution d'une peine pécuniaire, d'un travail d'intérêt général ou d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits. Cette disposition est applicable en l'espèce sans égard à la modification entrée en vigueur le 1 er janvier 2018, laquelle n'est pas plus favorable à l'intéressé (cf. <ref-law>).
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 4.2.2 p. 5; arrêt 6B_947/2016 du 4 avril 2017 consid. 2.1). Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère du prévenu et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; 6B_1040/2019 du 17 octobre 2019). Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que s'il en a abusé, notamment lorsqu'il a omis de tenir compte de critères pertinents et s'est fondé exclusivement sur les antécédents du condamné (<ref-ruling> consid. 3.1.1 p. 281; <ref-ruling>40 consid. 4.2 p. 143; <ref-ruling> consid. 2.3 p. 204). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêt 6B_454/2019 du 17 mai 2019 consid. 3.1 et les références citées; <ref-ruling>).
2.2. En l'espèce, la cour cantonale a estimé que le pronostic était totalement défavorable. Elle a relevé les nombreux antécédents, la récidive spéciale, la délinquance en hausse avec l'infraction d'usure, et le peu d'introspection du recourant. Elle a souligné que la peine privative de liberté de neuf mois restait compatible avec une semi-liberté et n'entravait ainsi pas la resocialisation du recourant.
C'est en vain que le recourant invoque le temps écoulé depuis sa dernière condamnation et son bon comportement depuis la commission des infractions qui lui sont reprochées. L'absence de récidive depuis les faits reprochés n'est d'aucune pertinence, dès lors qu'un tel comportement correspond à ce que l'on doit pouvoir attendre de tout un chacun (arrêt 6B_610/2015 du 7 septembre 2015 consid. 2 et les références citées).
Les antécédents du recourant, qui a été condamné à huit reprises pour violation à la LEI et à la LCR, constituent un facteur défavorable (cf supra consid. 2.1). La récidive est d'autant plus significative, du fait qu'il a réitéré ses agissements dans les mêmes domaines, ce qui révèle que les précédentes condamnations n'ont eu aucun effet dissuasif. Constitue aussi un facteur défavorable pertinent celui de l'aggravation de la délinquance du recourant par la commission d'une infraction d'usure. Enfin, le peu d'introspection du recourant relevé par la cour cantonale est un critère lié au défaut de prise de conscience de l'infraction. La cour cantonale n'a pas totalement exclu ce critère, mais l'a relativisé à l'instar du premier juge, dont la cour cantonale a déclaré rejoindre l'avis, selon lequel les regrets exprimés ne sont pas apparus sincères, le recourant ayant continué à faire porter la responsabilité des infractions qui lui sont reprochées à des tiers, ce qui révèle que son début de prise de conscience ainsi que le changement que le recourant semble avoir opéré ne suffisent pas à renverser le pronostic. La cour cantonale n'a ainsi pas ignoré les regrets exprimés par le recourant et les mesures prises depuis lors. Enfin, il a été tenu compte de la situation personnelle du recourant tant familiale que professionnelle, la cour cantonale ayant fixé une peine compatible avec un régime de semi-détention (<ref-law>) pour ne pas entraver sa resocialisation. Le grief d'arbitraire est infondé.
Au regard de ce qui précède, le recourant ne soulève pas d'éléments pertinents, sous l'angle de l'examen du pronostic, que l'autorité précédente aurait omis de prendre en compte. La motivation cantonale apparaît en ce sens suffisante. Par ailleurs, l'appréciation qu'elle a faite des circonstances mises en exergue qui l'ont conduite à retenir un pronostic défavorable n'excède pas le large pouvoir dont elle dispose en la matière. La cour cantonale n'a donc pas violé le droit fédéral en refusant d'assortir la peine privative de liberté du sursis à l'exécution. Le grief est infondé.
3.
Le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 avril 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens