Faits: A. Par jugement du 24 août 2005, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, pour lésions corporelles simples qualifiées, séquestration avec cruauté et violation du devoir d'assistance ou d'éducation, à 2 ans d'emprisonnement, sous déduction de 20 jours de détention préventive; il l'a en outre déchu de son autorité parentale sur les trois aînés de ses quatre fils. Statuant le 6 mars 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a annulé la peine accessoire, confirmant le jugement qui lui était déféré pour le surplus. Saisie d'un pourvoi en nullité de X._, la Cour de cassation pénale du Tribunal fédéral l'a rejeté par arrêt du 26 septembre 2006 (arrêt 6P.128/2006, 6S.276/2006 et 6S.277/2006). La demande de grâce de X._ a été rejetée le 19 juin 2007 par le Grand Conseil vaudois. B. Le 20 octobre 2006, l'Office d'exécution des peines du canton de Vaud (ci-après: OEP) a adressé une première convocation en exécution de peine à X._ pour le 13 mars 2007, laquelle a été annulée en raison du dépôt de la demande de grâce. Une seconde convocation du mois d'août 2007 pour le 5 novembre 2007 a derechef été annulée, afin que le médecin cantonal se détermine sur l'aptitude de l'intéressé à exécuter sa peine. Le 12 février 2008, une troisième convocation a été adressée à ce dernier pour exécution de la peine à partir du 21 avril 2008. Suite à cette dernière convocation, X._, par courriers des 17 mars, 2 avril, 7 avril et 15 avril 2008, a sollicité un nouveau report de l'exécution de sa peine. Cette requête se fondait sur trois certificats médicaux. Le premier, daté du 28 mars 2008 et signé par le Dr A._, concluait à un comportement imprévisible du patient au cas où l'incarcération serait maintenue, évoquant un risque suicidaire extrême. D'après le second, établi le 4 avril 2008 par la Dresse B._, l'état psychique et psychiatrique du patient ne permettait pas son emprisonnement, en raison d'un risque suicidaire majeur. Le troisième certificat, du 8 avril 2008, émanant de la Dresse C._, posait le diagnostic de trouble de la personnalité mixte à traits dépendants et psychotiques; ce médecin relevait qu'un risque suicidaire immédiat lui avait paru absent lors de l'entretien du même jour et soulignait que l'intéressé devait impérativement pouvoir bénéficier d'un suivi psychiatrique en cas d'incarcération; à l'instar du Dr A._, elle estimait qu'une expertise serait appropriée pour évaluer l'aptitude de l'intéressé à être incarcéré. L'OEP a soumis ces certificats au médecin cantonal. Par lettre du 14 avril 2008, la Dresse D._ a répondu qu'elle n'avait pas d'arguments contre-indiquant absolument l'incarcération de X._. Elle précisait que le risque de suicide n'était pas à confondre avec une menace de passer à l'acte et que les précédentes tentatives avaient eu lieu en dehors de toute décision d'incarcération. Elle ajoutait que l'aptitude médicale à être incarcéré existait sous réserve d'une prise en charge par le Service de médecine et de psychiatrie pénitentiaires (SMPP) dès l'entrée dans l'établissement. Le 17 avril 2008, la Dresse D._, après avoir pris connaissance du certificat de la Dresse C._, a confirmé l'aptitude de X._ à être incarcéré, moyennant la poursuite de son traitement médical. C. Par décision du 18 avril 2008, l'OEP a refusé d'ajourner l'exécution de la peine et confirmé la convocation de l'intéressé pour le 21 avril 2008, relevant que le service médical de l'établissement pénitentiaire était à même de prodiguer les soins nécessaires. X._ a recouru contre cette décision auprès du Juge d'application des peines, concluant à ce que l'exécution de sa peine soit différée pour une durée indéterminée. Conformément à sa requête, ce recours a été muni de l'effet suspensif jusqu'à droit connu sur la demande de révision qu'il avait déposée parallèlement. Par arrêt du 28 juillet 2008, le Tribunal cantonal vaudois a rejeté la demande de révision de X._, ensuite de quoi le Juge d'application des peines a repris l'instruction du recours dont il était saisi, l'assortissant de l'effet suspensif. D. Au cours de l'instruction, une expertise psychiatrique a été confiée au Centre d'expertises du département de psychiatrie du CHUV. Les experts ont déposé leur rapport le 15 janvier 2009. Ils ont posé le diagnostic de syndrome douloureux somatoforme persistant, de trouble dépressif récurrent sans symptômes psychotiques et de troubles mixtes de la personnalité. Ils ont notamment relevé que l'expertisé présentait une souffrance psychique depuis de nombreuses années, dont certains symptômes, bien que fluctuants, persistaient de manière constante dans le temps, et qu'il présentait en outre des signes d'une pathologie du caractère (trouble de la personnalité), cela déjà avant son inculpation pour maltraitance sur ses enfants. Analysant la problématique de l'intéressé, les experts ont observé que ce dernier supportait mal la critique et la remise en question, qu'il vivait comme persécutoires et sources d'angoisse. Les remises en question pouvaient causer chez lui des effondrements anxio-dépressifs, susceptibles de conduire à des agissements auto-agressifs, voire hétéro-agressifs. Sa condamnation et les reports d'incarcération le confortaient dans son sentiment d'injustice. Toujours selon les experts, lors des entretiens, l'expertisé présentait une symptomatologie dépressive avec une thymie abaissée, une agitation psychomotrice, un sentiment de dévalorisation, des troubles du sommeil importants et un sentiment de culpabilité envers ses enfants, mais n'avait en revanche pas d'idées suicidaires. Il n'y avait pas de raison de l'hospitaliser en urgence en milieu psychiatrique. Lorsqu'avait été évoquée la possibilité de son incarcération, l'expertisé était devenu menaçant, cette attitude étant vite remplacée par un sentiment de désespoir, le sentiment d'injustice et de blessure narcissique revenant au premier plan. De l'avis des experts, il paraissait clair que l'incarcération serait vécue par l'expertisé comme une blessure narcissique majeure, avec, au vu de son trouble de la personnalité, un risque d'actes auto-agressifs, voire hétéro-agressifs. Ce risque ne contre-indiquait toutefois pas absolument l'incarcération. En effet, l'expertisé ne nécessitait pas en l'état une hospitalisation psychiatrique et les soins dont il avait besoin pouvaient lui être prodigués en prison par le SMPP. A la question de savoir si le risque suicidaire devait essentiellement, voire exclusivement, être imputé à la perspective de l'incarcération, les experts ont répondu que l'expertisé le mettait essentiellement en lien avec cette perspective, mais que ce risque existait déjà par le passé, lorsqu'il se sentait remis en question. Les tentatives de suicide effectuées avaient eu lieu à l'extérieur du cadre carcéral et il n'était pas exclu que, indépendamment de la situation pénale, il passe à l'acte. Le risque de suicide existait au long cours et il n'était pas acquis que les structures de soins disponibles à l'extérieur seraient mieux à même d'empêcher la survenance d'une issue fatale. E. Par arrêt du 18 février 2009, le Juge d'application des peines a rejeté le recours. Se fondant notamment sur l'expertise, il a estimé que les conditions d'une exception à l'entrée en détention n'étaient pas réunies. F. X._ forme un "recours" au Tribunal fédéral, pour violation de l'art. 92 CP. Il conclut à l'annulation de l'arrêt attaqué et à ce que l'exécution de sa peine soit différée pour une durée indéterminée. Il sollicite l'assistance judiciaire et l'effet suspensif. Des déterminations n'ont pas été requises.