Faits : A. Par jugement du 14 août 2019, le Tribunal de police de l'arrondissement de le Broye et du Nord vaudois a libéré A._ du chef de prévention de contravention à la Loi sur l'aménagement du territoire et des constructions, a constaté qu'il s'était rendu coupable d'usure, d'incitation qualifiée au séjour illégal, d'emploi répété d'étrangers sans autorisation et de conduite sans autorisation. Il l'a condamné à une peine privative de liberté de 10 mois et à une peine pécuniaire de 30 jours-amende, le montant du jour-amende étant fixé à 90 fr., et a mis les frais de la cause à sa charge. B. Par jugement du 12 décembre 2019, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a partiellement admis l'appel formé par A._ contre ce jugement et a réformé celui-ci en ce sens que le prénommé a été condamné à une peine privative de liberté de 9 mois ainsi qu'à une peine pécuniaire de 60 jours-amende, le montant du jour-amende étant fixé à 90 francs. Elle a confirmé le jugement pour le surplus et a mis les frais de la procédure d'appel, par quatre cinquième, à la charge de A._, un cinquième étant laissé à la charge de l'Etat. Les faits retenus en lien avec l'infraction d'usure sont en substance les suivants. Entre mars 2015 et le 15 janvier 2016, A._ a logé, dans deux appartements aménagés dans les combles et le sous-sol d'un immeuble appartenant officiellement à son épouse, mais dont il était le propriétaire de fait, à tout le moins 5 compatriotes, dépourvus d'autorisation de séjour et de travail en Suisse, dans un appartement de 3.5 pièces au sous-sol et 5 autres dans les combles qui représentaient une surface de 2.5 pièces pour un loyer allant de 500 fr. à 750 fr. par mois et par personne. Il avait lui-même aménagé les deux appartements sans aucune autorisation et au mépris des règles de la police des constructions (l'appartement au sous-sol de 3.5 pièces ne respectait pas les normes sur les surfaces éclairantes et les normes incendie et l'appartement sous les combles de 2.5 pièces ne respectait pas les normes d'éclairage, de hauteur minimale et les normes incendie). A teneur de l'extrait de son casier judiciaire, A._ a été condamné le 9 mars 2009 à une peine pécuniaire de 30 jours-amende à 30 fr. avec sursis durant 2 ans, pour séjour illégal et activité lucrative sans autorisation; le 7 juin 2012 à une peine pécuniaire de 15 jours-amende à 50 fr. avec sursis durant 2 ans (sursis révoqué le 30.07.2013) et à une amende de 400 fr., pour conduite d'un véhicule automobile sans le permis de conduire requis; le 7 janvier 2013 à une peine pécuniaire de 60 jours-amende à 50 fr. dont 30 jours avec sursis durant 3 ans (sursis révoqué le 30 juillet 2013) pour emploi d'étrangers sans autorisation; le 30 juillet 2013 à une peine pécuniaire de 180 jours-amende à 50 fr., pour emploi répété d'étrangers sans autorisation; le 17 janvier 2014 à une peine pécuniaire de 50 jours-amende à 90 fr., et à une amende de 400 fr., pour violation des règles de la circulation routière, conduite d'un véhicule automobile malgré le refus, le retrait ou l'interdiction de l'usage du permis et violation des obligations en cas d'accident; le 15 avril 2014 à une peine pécuniaire de 80 jours-amende à 90 fr. et à une amende de 100 fr., pour conduite d'un véhicule automobile sans le permis de conduire requis et violation des règles de la circulation routière; le 2 février 2015 à une peine pécuniaire de 100 jours-amende à 50 fr., pour conduite d'un véhicule sans le permis de conduire requis; le 26 août 2015 à une peine pécuniaire de 50 jours-amende à 35 fr., pour emploi d'étrangers sans autorisation et emploi répété d'étrangers sans autorisation. C. A._ forme un recours en matière pénale au Tribunal fédéral. Il conclut à la réforme du jugement entrepris en ce sens qu'il est libéré du chef de prévention d'usure, qu'il est constaté qu'il s'est rendu coupable d'incitation qualifiée au séjour illégal, d'emploi répété d'étrangers sans autorisation et de conduite sans autorisation, et qu'il est condamné à une peine privative de liberté de 5 mois assortie du sursis pendant 5 ans ainsi qu'à une peine de 60 jours-amende, le montant du jour-amende étant fixé à 90 francs.