Faits :
Faits :
A. De juin 2002 à juillet 2004, X._ a sous-loué divers appartements à Lausanne et alentours à des ressortissantes étrangères afin qu'elles puissent se livrer à la prostitution alors qu'il savait que ces personnes n'étaient pas au bénéfice d'une autorisation d'entrer et de séjourner en Suisse ni d'y exercer une activité lucrative. Il a profité du fait que ces clandestins ne pouvaient pas obtenir de logement de la part des gérances ayant pignon sur rue pour demander des loyers dépassant très largement la valeur locative de l'appartement sous-loué. Il demandait 500 francs par personne et par semaine.
En fournissant un logement à ces personnes séjournant et travaillant illégalement en Suisse, il aurait réalisé en deux ans un bénéfice d'environ 242'000 francs selon la police et de 100'000 francs selon le Ministère public vaudois. Il admet lui-même avoir gagné 60'000 francs.
En fournissant un logement à ces personnes séjournant et travaillant illégalement en Suisse, il aurait réalisé en deux ans un bénéfice d'environ 242'000 francs selon la police et de 100'000 francs selon le Ministère public vaudois. Il admet lui-même avoir gagné 60'000 francs.
B. Par jugement du 21 février 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour infraction à la loi fédérale sur le séjour et l'établissement des étrangers et contravention à la loi vaudoise sur la santé publique, à la peine de six mois d'emprisonnement avec sursis pendant trois ans et à une amende de 200 francs. En outre, il a reconnu X._ débiteur de l'Etat de Vaud d'une créance compensatrice d'un montant de 50'000 francs et mis une partie des frais à sa charge.
Le Ministère public vaudois et X._ ont tous deux recouru contre ce jugement. Par arrêt du 23 octobre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et admis le recours du Ministère public. Elle a réformé le jugement de première instance en ce sens qu'elle a condamné X._ également pour l'infraction d'usure prévue à l'<ref-law> et augmenté en conséquence sa peine à quatorze mois d'emprisonnement, maintenant pour le surplus le sursis et la créance compensatrice.
Le Ministère public vaudois et X._ ont tous deux recouru contre ce jugement. Par arrêt du 23 octobre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et admis le recours du Ministère public. Elle a réformé le jugement de première instance en ce sens qu'elle a condamné X._ également pour l'infraction d'usure prévue à l'<ref-law> et augmenté en conséquence sa peine à quatorze mois d'emprisonnement, maintenant pour le surplus le sursis et la créance compensatrice.
C. Contre cet arrêt cantonal, X._ dépose un pourvoi en nullité devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué, faisant valoir que ses agissements ne remplissent pas les éléments constitutifs de l'usure au sens de l'<ref-law> et que les conditions pour prononcer une créance compensatrice selon l'<ref-law> ne sont pas réalisées. En outre, il sollicite l'octroi de l'effet suspensif.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. L'arrêt attaqué a été rendu avant l'entrée en vigueur, le 1er janvier 2007, de la loi fédérale du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110). Or, conformément à l'<ref-law>, cette loi ne s'applique aux procédures de recours que si l'acte attaqué a été rendu après son entrée en vigueur. C'est donc sur la base de l'ancien droit de procédure, en l'espèce les art. 268 ss PPF concernant le pourvoi en nullité, que doit être tranchée la présente cause.
En outre, le 1er janvier 2007 sont également entrées en vigueur les nouvelles dispositions de la partie générale du code pénal. Toutefois, celles-ci ne sont pas non plus applicables puisque le Tribunal fédéral saisi d'un pourvoi en nullité examine uniquement la question de savoir si l'autorité cantonale a correctement appliqué le droit fédéral (art. 269 al 1 PPF), soit celui qui était en vigueur au moment où elle a statué (<ref-ruling> consid. 5.3 p. 51 s. et les arrêts cités).
En outre, le 1er janvier 2007 sont également entrées en vigueur les nouvelles dispositions de la partie générale du code pénal. Toutefois, celles-ci ne sont pas non plus applicables puisque le Tribunal fédéral saisi d'un pourvoi en nullité examine uniquement la question de savoir si l'autorité cantonale a correctement appliqué le droit fédéral (art. 269 al 1 PPF), soit celui qui était en vigueur au moment où elle a statué (<ref-ruling> consid. 5.3 p. 51 s. et les arrêts cités).
2. Le pourvoi en nullité n'est recevable que pour violation du droit fédéral (art. 269 PPF), et la Cour de cassation est liée par les constatations de fait de l'autorité précédente (art. 277bis al. 1 PPF) dont elle ne saurait s'écarter. La Cour de cassation ne pouvant dès lors examiner l'application du droit fédéral que sur la base de l'état de fait retenu par l'autorité précédente, le recourant doit mener son raisonnement juridique sur cette seule base et ne peut se fonder sur une version des faits différente. Dans la mesure où son argumentation s'écarte des faits constatés par l'autorité précédente, il n'en est pas tenu compte; si son argumentation est entièrement ou pour l'essentiel fondée sur un autre état de fait, le grief est irrecevable (<ref-ruling> consid. 1 p. 66 s.).
2. Le pourvoi en nullité n'est recevable que pour violation du droit fédéral (art. 269 PPF), et la Cour de cassation est liée par les constatations de fait de l'autorité précédente (art. 277bis al. 1 PPF) dont elle ne saurait s'écarter. La Cour de cassation ne pouvant dès lors examiner l'application du droit fédéral que sur la base de l'état de fait retenu par l'autorité précédente, le recourant doit mener son raisonnement juridique sur cette seule base et ne peut se fonder sur une version des faits différente. Dans la mesure où son argumentation s'écarte des faits constatés par l'autorité précédente, il n'en est pas tenu compte; si son argumentation est entièrement ou pour l'essentiel fondée sur un autre état de fait, le grief est irrecevable (<ref-ruling> consid. 1 p. 66 s.).
3. Sous la note marginale "usure", l'<ref-law> punit de la réclusion pour cinq ans au plus ou de l'emprisonnement celui qui aura exploité la gêne, la dépendance, l'inexpérience ou la faiblesse de la capacité de jugement d'une personne en se faisant accorder ou promettre par elle, pour lui-même ou pour un tiers, en échange d'une prestation, des avantages pécuniaires en disproportion évidente avec celle-ci sur le plan économique.
Condamné pour usure par la cour cantonale, le recourant conteste que les éléments constitutifs de cette infraction soient réalisés, soit plus particulièrement la disproportion évidente entre les prestations échangées et la situation de faiblesse.
Condamné pour usure par la cour cantonale, le recourant conteste que les éléments constitutifs de cette infraction soient réalisés, soit plus particulièrement la disproportion évidente entre les prestations échangées et la situation de faiblesse.
3.1 3.1.1 L'avantage pécuniaire obtenu doit être en disproportion évidente, sur le plan économique, avec la prestation fournie. L'évaluation doit être objective (<ref-ruling> consid. 7.2 p. 109; Corboz, Les infractions en droit suisse, vol. I, Berne 2002, art. 157, n. 31 et 32). Le rapport entre la prestation et la contre-prestation se mesure dans le cas normal selon le prix ou la rémunération usuels pour des choses ou des services de même espèce (<ref-ruling> consid. 2 p. 87; <ref-ruling> consid. 1 p. 134).
L'évaluation de la prestation peut être délicate lorsqu'elle ne fait pas l'objet de transactions régulières ou qu'elle est illicite. Dans un arrêt ancien, s'agissant d'un médecin qui avait pratiqué un avortement, le Tribunal fédéral s'était fondé sur le prix de la prestation légale (<ref-ruling>). Cet arrêt a été critiqué par la doctrine, dès lors que les honoraires demandés et obtenus pour l'avortement ne représentaient pas le tarif pour une intervention médicale spécialisée, mais constituaient une prime de risque pour une interruption non autorisée de la grossesse qui, à l'époque, était punissable de la réclusion jusqu'à cinq ans ou de l'emprisonnement (Waiblinger, in: RJB 94 (1958), p. 182; Trechsel, Schweizerisches Strafgesetzbuch, Kurzkommentar, 2e éd., Zurich 1997, art. 157, n. 7). Certains auteurs relèvent aussi que, si les prestations illicites en cas de vente de drogue ou d'avortement devaient être appréciées en fonction des prix sur le marché autorisé, l'infraction d'usure serait toujours réalisée (Stratenwerth/Jenny, Schweizerisches Strafrecht, Besonderer Teil I: Straftaten gegen Individualinteressen, 6e éd., Berne 2003, § 18, n. 10).
Pour ces transactions illicites ou contraires aux moeurs, une partie de la doctrine propose de se fonder sur le prix du marché noir (Trechsel, op. cit. n. 7; Weissenberger, Basler Kommentar, Strafgesetzbuch II, 2003, art. 157, n. 22). Stratenwerth/Jenny ainsi que Rehberg/Schmid/ Donatsch sont en revanche d'avis qu'il faut toujours se référer à la valeur du marché réelle, en tenant compte de tous les facteurs, étant donné qu'il s'agit d'examiner s'il existe une disproportion économique entre la prestation et la contre-prestation (Stratenwerth/Jenny, op. cit., § 18, n. 10; Rehberg/Schmid/Donatsch, Strafrecht III, Delikte gegen den Einzelnen, 8e éd., Zurich 2003, p. 249). Selon un arrêt bernois, il ne faut pas se fonder sur les prix du marché autorisé de la drogue ni sur ceux pratiqués au marché noir, mais il faut décider selon les circonstances du cas concret et tenir compte notamment des risques encourus par l'auteur (RJB 112 (1976) p. 344; cf. aussi Schubarth, Kommentar Strafrecht, Besonderer Teil, vol. 2, art. 157, n. 21).
La loi et la jurisprudence ne fournissent aucune limite précise pour déterminer à partir de quand la disproportion entre les prestations est usuraire. Le nombre des critères à prendre en considération (en particulier celui des risques encourus) rend difficile les indications chiffrées. Selon la jurisprudence, la disproportion doit excéder sensiblement les limites de ce qui apparaît usuel et normal en regard de toutes les circonstances. Elle doit paraître frappante et s'imposer comme telle à tout client (ATF <ref-ruling> consid. 1 p. 134 s.). La doctrine a posé quelques repères. Pour les domaines réglementés, la limite semble se situer autour de 20 %. Dans les autres domaines, il y aurait usure, dans tous les cas, dès 35 % (Corboz, op. cit., art. 157, n. 38; Trechsel, op. cit., art. 157, n. 8).
3.1.2 S'appuyant sur l'opinion d'une partie de la doctrine relative aux marchés illégaux (cf. ci-dessus), le recourant soutient qu'il conviendrait de se référer au prix du marché des locaux destinés à l'exercice de la prostitution. Selon lui, il serait notoire que le prix de location d'une chambre, pour une prostituée, en vue d'y exercer la prostitution, serait de 100 francs par jour dans la région lausannoise, de sorte que les prix qu'il a pratiqués correspondraient à ceux de ce marché. Le recourant ajoute qu'il s'agissait de loyers commerciaux, puisque les sous-locataires y exerçaient leur métier de prostituée, ce qui justifierait un loyer plus élevé. Enfin, se référant à un arrêt soleurois, il affirme qu'il ne serait pas punissable d'augmenter le loyer en fonction de l'activité du locataire pour autant que le bailleur ne pousse pas autrui à se prostituer.
3.1.3 Il est notoire que de nombreuses migrantes viennent en Suisse pour travailler sur le marché du sexe. Sans statut légal, ces femmes ne peuvent pas faire valoir leurs droits auprès des autorités et sont particulièrement vulnérables. Elles sont amenées à négocier avec des moyens limités les loyers des locaux où elles exercent leur activité, les obtenant souvent à des prix exorbitants. A l'instar de ce qui se passe pour le travail au noir, il est toutefois extrêmement difficile de connaître les prix pratiqués sur ce marché, dès lors que les cas portés à la connaissance de la justice sont peu fréquents, les victimes préférant payer ce qu'on leur demande plutôt que risquer, en s'adressant aux autorités ou à la justice, d'être renvoyées dans leur pays. Dans ces conditions, pour déterminer si le sous-loyer est usuraire, le juge doit se référer aux loyers d'habitation usuels dans la localité ou le quartier, qu'il pourra majorer pour tenir compte des risques encourus par le bailleur (notamment le risque de condamnation pour infraction à la LSEE). Il ne saurait en aucun cas se fonder sur des loyers abusifs du marché noir, même si ceux-ci sont généralement pratiqués, car ce serait ouvrir la porte à des abus encore plus grands.
Selon les constatations cantonales, le recourant réclamait, pour un appartement dont le loyer mensuel était de 1000 francs ou moins, un loyer de 500 francs, par personne et par semaine, ce qui revenait à tout le moins à doubler le loyer principal. Parfois il louait les appartements à plusieurs personnes, ce qui augmentait encore son bénéfice. Selon les montants retenus dans l'arrêt attaqué, les loyers réclamés par le recourant à ses sous-locataires étaient en définitive majorés de 120 à 360 %. Dans ses calculs et conformément à la jurisprudence en matière de sous-location, la cour cantonale a tenu compte du fait que le recourant pouvait exiger un complément en raison de l'ameublement et des charges.
Au vu des chiffres retenus dans l'arrêt attaqué, qui ne sont du reste pas contestés par le recourant, on doit admettre que les loyers payés par les victimes sont en disproportion manifeste avec la prestation du recourant, et ce même si l'on tient compte d'un supplément pour le risque encouru pour avoir loué ces appartements à des clandestines. Lorsque le recourant fait valoir qu'il s'agissait de locaux commerciaux, ce qui justifierait un loyer plus élevé, il s'écarte de l'état de fait cantonal, de sorte que ce grief est irrecevable. En effet, l'arrêt attaqué ne mentionne pas que les locaux auraient été loués comme locaux commerciaux et qu'un changement d'affectation de l'objet du bail serait intervenu lors de la sous-location. Enfin, la référence à un arrêt soleurois (SOG 1992, n° 19, p. 46), selon lequel la pratique du bailleur consistant à augmenter le loyer en fonction de l'activité du locataire serait tolérée, n'est pas déterminante, puisque cet arrêt porte sur la réalisation de l'infraction d'encouragement à la prostitution selon l'<ref-law>, et non sur le crime d'usure.
Au vu des chiffres retenus dans l'arrêt attaqué, qui ne sont du reste pas contestés par le recourant, on doit admettre que les loyers payés par les victimes sont en disproportion manifeste avec la prestation du recourant, et ce même si l'on tient compte d'un supplément pour le risque encouru pour avoir loué ces appartements à des clandestines. Lorsque le recourant fait valoir qu'il s'agissait de locaux commerciaux, ce qui justifierait un loyer plus élevé, il s'écarte de l'état de fait cantonal, de sorte que ce grief est irrecevable. En effet, l'arrêt attaqué ne mentionne pas que les locaux auraient été loués comme locaux commerciaux et qu'un changement d'affectation de l'objet du bail serait intervenu lors de la sous-location. Enfin, la référence à un arrêt soleurois (SOG 1992, n° 19, p. 46), selon lequel la pratique du bailleur consistant à augmenter le loyer en fonction de l'activité du locataire serait tolérée, n'est pas déterminante, puisque cet arrêt porte sur la réalisation de l'infraction d'encouragement à la prostitution selon l'<ref-law>, et non sur le crime d'usure.
3.2 3.2.1 L'infraction d'usure consiste à obtenir ou à se faire promettre une contre-prestation disproportionnée en exploitant la faiblesse de l'autre partie (<ref-ruling> consid. 3a p. 140/141). Les situations de faiblesse sont énumérées de manière exhaustive à l'<ref-law> (gêne, dépendance, inexpérience et faiblesse de la capacité de jugement). L'état de gêne s'entend de tout état de contrainte qui influe si fort sur la liberté de décision de la personne lésée qu'elle est prête à fournir une prestation disproportionnée (ATF <ref-ruling> consid. 2 p. 137). Il ne s'agit pas nécessairement d'une gêne financière (FF 1991 II 1015; ATF <ref-ruling> consid. 2 p. 137) et elle peut être seulement passagère (<ref-ruling> consid. 3 p. 20). Il faut procéder à une appréciation objective: on doit admettre qu'une personne raisonnable, placée dans les mêmes circonstances, aurait été entravée dans sa liberté de décision (Corboz, op. cit., art. 157, n. 13; Trechsel, op. cit., art. 157, n. 2; contra: Weissenberger, op. cit., art. 157, n. 9). Le consentement de la victime n'exclut pas l'application de l'<ref-law>. Il en est au contraire un élément (<ref-ruling> consid. 2b p. 149).
La jurisprudence a admis la gêne dans le cas d'une personne se trouvant dans le besoin extrême de trouver un toit pour se loger, par exemple en cas de pénurie de logement (<ref-ruling> consid. 5 p. 89 s.; <ref-ruling> consid. 2 p. 137). La doctrine mentionne aussi l'exemple de l'étranger qui cherche à se loger et dont on profite exagérément en raison de sa méconnaissance des conditions du marché local du logement (Lachat/Micheli, Le nouveau droit du bail, 1992, p. 376, n. 4.3 in fine). Enfin, la Cour de justice genevoise a retenu l'exploitation de l'état de gêne de requérants d'asile en raison de la pénurie notoire de logement à Genève et de leur statut de demandeur d'asile (Droit du bail n° 4/1992, p. 29, n. 34).
3.2.2 En l'espèce, toutes les victimes étaient des prostituées en situation illégale. Compte tenu de leur situation irrégulière en Suisse et de leur type d'activité, elles ne pouvaient pas s'adresser à une gérance, qui aurait vérifié si elles étaient au bénéfice d'un permis de séjour. Elles devaient se tourner vers un bailleur privé et étaient obligées d'accepter les loyers exorbitants que celui-ci leur proposait, dès lors que leur statut illégal les empêchait de se plaindre auprès des autorités. Leur gêne résidait ainsi dans le fait qu'elles étaient dans l'impossibilité de louer un appartement en passant par les voies de location usuelles et de faire valoir leurs droits auprès des autorités. A cela s'ajoute qu'en tant qu'étrangères de passage, elles n'avaient certainement pas connaissance des prix du marché de la location.
Le recourant soutient en vain que les victimes avaient le libre choix de se loger auprès d'un autre bailleur. Comme le relève la cour cantonale, le recours à une gérance n'est pas possible pour ces personnes en situation de clandestinité, de sorte qu'elles sont contraintes de s'adresser à un particulier qui pourra profiter de leur situation difficile. Il n'est pas non plus déterminant que les clandestines aient pris contact avec le recourant, puisque, dans ce genre de situation, le consentement de la victime n'implique pas un choix réel, mais qu'il est précisément un élément constitutif de l'usure. Lorsqu'il affirme que les sous-locataires bénéficiaient de revenus pour le moins importants, le recourant s'écarte de l'état de fait cantonal, ce qu'il n'est pas habilité à faire dans un pourvoi; au demeurant, les revenus des sous-locataires ne changent rien au fait que ce sont des clandestines et qu'il est difficile pour elles de s'adresser à une gérance. Enfin, le fait que les sous-locataires n'étaient pas contraintes à exercer leur activité est déterminant pour l'encouragement à la prostitution au sens de l'<ref-law>, mais non sous l'angle de l'usure.
Les victimes étaient donc en situation de faiblesse de par leur gêne due à leur clandestinité.
3.3 L'usure est une infraction intentionnelle; le dol éventuel suffit (<ref-ruling> consid. 2d p. 150). L'intention doit porter sur la disproportion évidente entre la prestation et la contre-prestation ainsi que sur la situation de faiblesse de la victime.
En l'espèce, l'arrêt attaqué constate que le recourant savait que la situation de ses sous-locataires était précaire sur le plan de la police des étrangers, raison pour laquelle il concluait des contrats de bail d'une durée extrêmement courte. Il connaissait également la disproportion existant entre la prestation et la contre-prestation puisqu'il payait lui-même un loyer nettement inférieur pour les mêmes objets de location. Enfin, les juges cantonaux ont retenus que le recourant avait à tout le moins envisagé et accepté que la situation clandestine de ses cocontractantes les avaient motivées à accepter les loyers excessifs qu'il leur proposait. Dès lors, l'élément intentionnel est réalisé.
3.4 En conclusion, la condamnation du recourant en vertu de l'<ref-law> ne viole pas le droit fédéral.
3.4 En conclusion, la condamnation du recourant en vertu de l'<ref-law> ne viole pas le droit fédéral.
4. Selon l'<ref-law>, le juge prononcera la confiscation des valeurs patrimoniales qui sont le résultat d'une infraction ou qui étaient destinées à décider ou à récompenser l'auteur d'une infraction, si elles ne doivent pas être restituées au lésé en rétablissement de ses droits. Lorsque les valeurs patrimoniales à confisquer ne sont plus disponibles, le juge ordonnera leur remplacement par une créance compensatrice de l'Etat d'un montant équivalent.
Le recourant conteste qu'une créance compensatrice puisse être ordonnée en raison d'une violation de l'art. 23 LSEE. Comme vu ci-dessus, le recourant a été également condamné pour usure pour avoir exploité la situation de faiblesse dans laquelle se trouvaient ses sous-locataires en raison de leur clandestinité. Il est admis que, si le lésé ne réclame pas le rétablissement de ses droits, le trop-perçu de l'usurier doit être confisqué (Corboz, op. cit., art. 157, n. 59; Schubarth, op. cit., art. 157, n. 42). En l'espèce, c'est donc à juste titre que la cour cantonale a ordonné la confiscation du bénéfice que le recourant avait retiré de la sous-location des appartements, à savoir de la partie du sous-loyer qui dépassait le montant du loyer principal. Elle a estimé ce bénéfice à 50'000 francs, montant qui n'est pas contesté par le recourant et sur lequel il n'y a donc pas lieu de revenir. Dans la mesure où le recourant soutient que ses sous-locataires n'étaient pas des étrangères en situation irrégulière, il s'écarte de l'état de fait cantonal, et ce grief est irrecevable.
En conclusion, la cour cantonale n'a pas violé l'<ref-law> en prononçant une créance compensatrice de 50'000 francs.
En conclusion, la cour cantonale n'a pas violé l'<ref-law> en prononçant une créance compensatrice de 50'000 francs.
5. Dans la mesure où il est recevable, le pourvoi doit être rejeté.
Le recourant, qui succombe, sera condamné aux frais (art. 278 al. 1 PPF).
Vu l'issue du pourvoi, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2000 francs est mis à la charge du recourant.
2. Un émolument judiciaire de 2000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, au Ministère public vaudois et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 19 février 2007
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: