Faits : Faits : A. De juin 2002 à juillet 2004, X._ a sous-loué divers appartements à Lausanne et alentours à des ressortissantes étrangères afin qu'elles puissent se livrer à la prostitution alors qu'il savait que ces personnes n'étaient pas au bénéfice d'une autorisation d'entrer et de séjourner en Suisse ni d'y exercer une activité lucrative. Il a profité du fait que ces clandestins ne pouvaient pas obtenir de logement de la part des gérances ayant pignon sur rue pour demander des loyers dépassant très largement la valeur locative de l'appartement sous-loué. Il demandait 500 francs par personne et par semaine. En fournissant un logement à ces personnes séjournant et travaillant illégalement en Suisse, il aurait réalisé en deux ans un bénéfice d'environ 242'000 francs selon la police et de 100'000 francs selon le Ministère public vaudois. Il admet lui-même avoir gagné 60'000 francs. En fournissant un logement à ces personnes séjournant et travaillant illégalement en Suisse, il aurait réalisé en deux ans un bénéfice d'environ 242'000 francs selon la police et de 100'000 francs selon le Ministère public vaudois. Il admet lui-même avoir gagné 60'000 francs. B. Par jugement du 21 février 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour infraction à la loi fédérale sur le séjour et l'établissement des étrangers et contravention à la loi vaudoise sur la santé publique, à la peine de six mois d'emprisonnement avec sursis pendant trois ans et à une amende de 200 francs. En outre, il a reconnu X._ débiteur de l'Etat de Vaud d'une créance compensatrice d'un montant de 50'000 francs et mis une partie des frais à sa charge. Le Ministère public vaudois et X._ ont tous deux recouru contre ce jugement. Par arrêt du 23 octobre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et admis le recours du Ministère public. Elle a réformé le jugement de première instance en ce sens qu'elle a condamné X._ également pour l'infraction d'usure prévue à l'art. 157 CP et augmenté en conséquence sa peine à quatorze mois d'emprisonnement, maintenant pour le surplus le sursis et la créance compensatrice. Le Ministère public vaudois et X._ ont tous deux recouru contre ce jugement. Par arrêt du 23 octobre 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours du condamné et admis le recours du Ministère public. Elle a réformé le jugement de première instance en ce sens qu'elle a condamné X._ également pour l'infraction d'usure prévue à l'art. 157 CP et augmenté en conséquence sa peine à quatorze mois d'emprisonnement, maintenant pour le surplus le sursis et la créance compensatrice. C. Contre cet arrêt cantonal, X._ dépose un pourvoi en nullité devant le Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué, faisant valoir que ses agissements ne remplissent pas les éléments constitutifs de l'usure au sens de l'art. 157 CP et que les conditions pour prononcer une créance compensatrice selon l'art. 59 ch. 2 CP ne sont pas réalisées. En outre, il sollicite l'octroi de l'effet suspensif.