Faits: A. Par jugement du 14 octobre 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour escroquerie à une peine privative de liberté d'ensemble de quinze mois, dont neuf mois avec sursis pendant trois ans. L'intéressé a requis et obtenu par décision du 30 décembre 2010 de l'Office d'exécution des peines (ci-après: OEP) le report de l'exécution de la peine en raison de son état de santé. B. Par lettre du 30 août 2011, la Dresse A._, du Service de la santé publique, interpellée par l'OEP, a indiqué que l'intéressé était apte à subir sa peine privative de liberté, sous réserve d'une prise en charge par le Service de médecine et de psychiatrie pénitentiaires (ci-après: SMPP) pour le suivi de son traitement médical. Par décision du 4 janvier 2012, I'OEP a refusé de reporter une nouvelle fois l'exécution de la peine à laquelle X._ a été condamné. C. Saisi d'un recours interjeté par X._ contre cette décision, le Juge d'application des peines a ordonné une expertise psychiatrique de l'intéressé. L'experte a conclu que X._ souffrait d'un grave trouble de la personnalité à traits narcissiques et d'une dysthymie qui altérait notablement ses compétences relationnelles et sociales et était source de beaucoup de souffrance. Il s'agissait d'une pathologie chronique et peu susceptible d'évolution favorable. Elle a indiqué en substance que l'expertisé ne présentait pas les critères diagnostiques d'un trouble dépressif sévère comme il le soutenait. Il n'était notamment pas sous traitement antidépresseur, ni en arrêt de travail et avait les possibilités psychiques de partir en vacances. Il n'avait au surplus jamais nécessité une hospitalisation pour un état dépressif et n'avait jamais fait de tentatives de suicide. Il existait ainsi un décalage entre la manière qu'avait l'expertisé de présenter ses souffrances et les éléments objectifs en sa possession. Le trouble de la personnalité de l'expertisé n'était en soi pas une contre-indication à l'exécution d'une peine privative de liberté. L'évaluation de son potentiel suicidaire montrait que le risque de suicide était moyen, l'urgence faible et la dangerosité moyenne. Il n'y avait donc pas d'urgence à une prise en charge d'un risque de passage à l'acte. Le médecin a ajouté qu'il n'était cependant pas exclu que l'intéressé décide de se faire du mal ou de se suicider pour échapper à la sanction pénale. L'experte a encore indiqué que les entretiens thérapeutiques, suivi psychiatrique dont l'expertisé bénéficiait en liberté, pouvaient être poursuivis en prison par le SMPP. Les menaces de suicide de l'intéressé s'il était emprisonné résultaient d'un choix délibéré en réponse à son sentiment d'injustice d'être condamné et pour échapper à la sanction pénale. Par prononcé du 25 mars 2013, le Juge d'application des peines a rejeté le recours interjeté par X._ contre la décision du 4 janvier 2012. D. Par arrêt du 17 avril 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le prononcé du Juge d'application des peines. E. X._ forme un recours en matière pénale contre l'arrêt du 17 avril 2013 dont il demande la réforme en ce sens que l'exécution de la peine privative de liberté de six mois prononcée à son encontre le 14 octobre 2008 soit reportée pour une durée indéterminée, à tout le moins, aussi longtemps que l'OEP n'aura pas apporté toutes les garanties qu'en cas d'incarcération, il pourra recevoir les soins appropriés à sa problématique psychiatrique. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité inférieure pour complément d'instruction. Plus subsidiairement, il conclut à être autorisé à exécuter la peine de six mois sous le régime de la semi-détention.