Faits: Faits: A. X._, ressortissant serbe né en 1976, est arrivé en Suisse en 1993. Son père et l'un de ses frères vivent dans notre pays, tandis que sa mère habite au Kosovo. Le 18 août 2003, il a été condamné pour infraction grave à la loi fédérale sur les stupéfiants à deux ans de réclusion, sous déduction de la détention préventive, ainsi qu'à huit ans d'expulsion du territoire suisse. Sur recours, il a obtenu que l'expulsion soit assortie du sursis pendant quatre ans. Le 4 novembre 2003, il a été condamné pour violation grave des règles de la circulation à 800 fr. d'amende avec délai d'épreuve en vue de la radiation anticipée de deux ans. Le 15 septembre 2005, il a été condamné pour vol en bande et par métier à dix-huit mois d'emprisonnement, sous déduction de la détention préventive, et à cinq ans d'expulsion du territoire suisse. Les sursis qu'il avait obtenus précédemment ont été révoqués. Du 15 février 2002 au 21 septembre 2004, il a en outre été condamné huit fois, pour violation simple des règles de la circulation, à des peines d'amende qui ont ensuite été converties en quarante-trois jours d'arrêts au total. X._ purge actuellement l'ensemble de ses peines privatives de liberté, dont il a atteint les deux tiers le 6 janvier 2006. X._ purge actuellement l'ensemble de ses peines privatives de liberté, dont il a atteint les deux tiers le 6 janvier 2006. B. Dans un rapport du 30 janvier 2006, la direction de l'établissement pénitentiaire où est détenu X._ a préavisé en faveur de la libération conditionnelle de celui-ci, mais pour autant qu'il soit expulsé du territoire suisse. Cette recommandation était motivée par le fait que l'intéressé se comportait bien en détention, mais qu'il avait tendance à sous-estimer la gravité des faits pour lesquels il avait été condamné. Il n'avait jamais pris l'option d'envisager sa vie hors de notre pays. Dans sa proposition du 24 février 2006, le Service pénitentiaire du canton de Vaud s'est, quant à lui, prononcé contre la libération conditionnelle de X._. Il a relevé que celui-ci s'était rendu coupable de vol en bande et par métier après avoir déjà été condamné en première instance, et avoir subi deux cent nonante-six jours de détention préventive, pour infraction grave à la loi fédérale sur les stupéfiants. X._ avait en outre commis une infraction pendant un congé. De l'avis du service pénitentiaire, il était douteux que la détention l'eût incité à se remettre en question. Au contraire, au fil de son parcours pénal, il avait compris les rouages du système, savait parfaitement comment faire pour se montrer sous un jour favorable et répondre aux attentes de l'autorité, mais sans avoir l'intention réelle de changer son mode de vie. Le membre visiteur de la Commission de libération du canton de Vaud a entendu X._ le 28 février 2006. Dans son rapport à la commission, il a indiqué que l'intéressé avait commencé à commettre des infractions après plus de dix ans de vie normale en Suisse, ensuite du décès accidentel de l'un de ses frères. Ajouté au fait qu'il vivait une situation incertaine pendant sa liberté provisoire, cette étape difficile de sa vie l'avait conduit à multiplier les dérapages et à fréquenter de mauvaises personnes, y compris lorsqu'il s'était trouvé en liberté provisoire, puis en congé pendant l'exécution de sa peine. Cependant, l'intéressé s'était ensuite positionné du côté de l'autorité lors d'une émeute dans l'un des établissements où il avait été détenu. Le membre visiteur était d'avis que X._ avait tiré des leçons du refus de libération conditionnelle qui lui avait été signifié le 14 février 2005, lorsque, purgeant les deux ans de réclusion auxquels il avait été condamné le 18 août 2003 et les peines d'arrêts substituées à ses diverses peines d'amende, il avait été maintenu en détention en raison des faits qui lui ont valu sa condamnation à dix-huit mois d'emprisonnement le 15 septembre 2005. Comme il disposait d'un contrat de travail, X._ devait dès lors être mis en liberté conditionnelle. Quant à l'expulsion, il convenait de la différer à titre d'essai. Pour un minoritaire serbe comme X._, les conditions de réinsertion étaient, de l'avis du membre visiteur, bien meilleures en Suisse qu'au Kosovo. Statuant le 24 mars 2006, la Commission de libération du canton de Vaud a accordé la liberté conditionnelle à X._, mais refusé de différer son expulsion à titre d'essai et dit que la libération conditionnelle deviendrait effective au moment où l'expulsion pourrait être exécutée. Par arrêt du 4 mai 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment confirmé, sur recours de l'intéressé, le refus de différer l'expulsion. Elle a considéré que X._ ne s'était jamais véritablement intégré en Suisse, comme le démontrait le fait que même le sursis à l'expulsion dont il avait bénéficié ne lui avait pas permis de se conformer à notre ordre juridique. En outre, on pouvait douter de la réalité de ses projets professionnels en Suisse. En effet, pour tout justificatif sur ce point, il avait produit copie d'un contrat de travail signé par une personne dont on ignorait si elle pouvait engager l'employeur et qui l'embauchait en qualité de chauffeur, alors qu'il avait été condamné de nombreuses fois pour violations des règles de la circulation de 2002 à 2005. Il y avait ainsi tout lieu de penser que X._ se retrouverait à sa sortie de prison dans la même situation qu'il y a quelques années. Dans ces conditions, la cour cantonale a jugé qu'il existait manifestement un risque important de récidive. Par ailleurs, le fait que X._ n'avait pas de projets au Kosovo résultait d'un choix personnel. Compte tenu du temps qu'il avait passé dans cette province avant son arrivée en Suisse et de l'expérience professionnelle qu'il avait acquise en Suisse, la cour cantonale a considéré qu'il disposait d'un éventail de possibilités au Kosovo au moins comparable au poste qu'il convoite dans notre pays. Son appartenance à la minorité serbe du Kosovo ne constituait pas un obstacle aussi important pour sa réinsertion que la situation qui serait la sienne en Suisse à sa sortie de prison. Ses possibilités de resocialisation n'étaient dès lors pas à ce point meilleures dans notre pays qu'il s'imposât de différer l'expulsion à titre d'essai. Par arrêt du 4 mai 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a notamment confirmé, sur recours de l'intéressé, le refus de différer l'expulsion. Elle a considéré que X._ ne s'était jamais véritablement intégré en Suisse, comme le démontrait le fait que même le sursis à l'expulsion dont il avait bénéficié ne lui avait pas permis de se conformer à notre ordre juridique. En outre, on pouvait douter de la réalité de ses projets professionnels en Suisse. En effet, pour tout justificatif sur ce point, il avait produit copie d'un contrat de travail signé par une personne dont on ignorait si elle pouvait engager l'employeur et qui l'embauchait en qualité de chauffeur, alors qu'il avait été condamné de nombreuses fois pour violations des règles de la circulation de 2002 à 2005. Il y avait ainsi tout lieu de penser que X._ se retrouverait à sa sortie de prison dans la même situation qu'il y a quelques années. Dans ces conditions, la cour cantonale a jugé qu'il existait manifestement un risque important de récidive. Par ailleurs, le fait que X._ n'avait pas de projets au Kosovo résultait d'un choix personnel. Compte tenu du temps qu'il avait passé dans cette province avant son arrivée en Suisse et de l'expérience professionnelle qu'il avait acquise en Suisse, la cour cantonale a considéré qu'il disposait d'un éventail de possibilités au Kosovo au moins comparable au poste qu'il convoite dans notre pays. Son appartenance à la minorité serbe du Kosovo ne constituait pas un obstacle aussi important pour sa réinsertion que la situation qui serait la sienne en Suisse à sa sortie de prison. Ses possibilités de resocialisation n'étaient dès lors pas à ce point meilleures dans notre pays qu'il s'imposât de différer l'expulsion à titre d'essai. C. X._ interjette un recours de droit administratif contre cet arrêt, dont il demande principalement la réforme en ce sens que l'expulsion soit différée à titre d'essai, subsidiairement l'annulation, avec renvoi à l'autorité de première ou de seconde instance cantonale pour nouvelle décision sur le report de l'expulsion à titre d'essai. Il requiert en outre d'être mis au bénéfice de l'assistance judiciaire. Par ordonnance du 9 juin 2006, le président de la cour de céans a attribué l'effet suspensif au recours. Invitée à se déterminer, la cour cantonale s'est référée aux considérants de son arrêt.