Faits:
A. Par jugement du 24 août 2005, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._, pour lésions corporelles simples qualifiées, séquestration avec cruauté et violation du devoir d'assistance ou d'éducation, à 2 ans d'emprisonnement, sous déduction de 20 jours de détention préventive; il l'a en outre déchu de son autorité parentale sur les trois aînés de ses quatre fils. Statuant le 6 mars 2006, la Cour de cassation pénale du Tribunal cantonal vaudois a annulé la peine accessoire, confirmant le jugement qui lui était déféré pour le surplus. Saisie d'un pourvoi en nullité de X._, la Cour de cassation pénale du Tribunal fédéral l'a rejeté par arrêt du 26 septembre 2006 (arrêt 6P.128/2006, 6S.276/2006 et 6S.277/2006). La demande de grâce de X._ a été rejetée le 19 juin 2007 par le Grand Conseil vaudois.
B. Le 20 octobre 2006, l'Office d'exécution des peines du canton de Vaud (ci-après: OEP) a adressé une première convocation en exécution de peine à X._ pour le 13 mars 2007, laquelle a été annulée en raison du dépôt de la demande de grâce. Une seconde convocation du mois d'août 2007 pour le 5 novembre 2007 a derechef été annulée, afin que le médecin cantonal se détermine sur l'aptitude de l'intéressé à exécuter sa peine. Le 12 février 2008, une troisième convocation a été adressée à ce dernier pour exécution de la peine à partir du 21 avril 2008.
Suite à cette dernière convocation, X._, par courriers des 17 mars, 2 avril, 7 avril et 15 avril 2008, a sollicité un nouveau report de l'exécution de sa peine. Cette requête se fondait sur trois certificats médicaux. Le premier, daté du 28 mars 2008 et signé par le Dr A._, concluait à un comportement imprévisible du patient au cas où l'incarcération serait maintenue, évoquant un risque suicidaire extrême. D'après le second, établi le 4 avril 2008 par la Dresse B._, l'état psychique et psychiatrique du patient ne permettait pas son emprisonnement, en raison d'un risque suicidaire majeur. Le troisième certificat, du 8 avril 2008, émanant de la Dresse C._, posait le diagnostic de trouble de la personnalité mixte à traits dépendants et psychotiques; ce médecin relevait qu'un risque suicidaire immédiat lui avait paru absent lors de l'entretien du même jour et soulignait que l'intéressé devait impérativement pouvoir bénéficier d'un suivi psychiatrique en cas d'incarcération; à l'instar du Dr A._, elle estimait qu'une expertise serait appropriée pour évaluer l'aptitude de l'intéressé à être incarcéré.
L'OEP a soumis ces certificats au médecin cantonal. Par lettre du 14 avril 2008, la Dresse D._ a répondu qu'elle n'avait pas d'arguments contre-indiquant absolument l'incarcération de X._. Elle précisait que le risque de suicide n'était pas à confondre avec une menace de passer à l'acte et que les précédentes tentatives avaient eu lieu en dehors de toute décision d'incarcération. Elle ajoutait que l'aptitude médicale à être incarcéré existait sous réserve d'une prise en charge par le Service de médecine et de psychiatrie pénitentiaires (SMPP) dès l'entrée dans l'établissement. Le 17 avril 2008, la Dresse D._, après avoir pris connaissance du certificat de la Dresse C._, a confirmé l'aptitude de X._ à être incarcéré, moyennant la poursuite de son traitement médical.
C. Par décision du 18 avril 2008, l'OEP a refusé d'ajourner l'exécution de la peine et confirmé la convocation de l'intéressé pour le 21 avril 2008, relevant que le service médical de l'établissement pénitentiaire était à même de prodiguer les soins nécessaires.
X._ a recouru contre cette décision auprès du Juge d'application des peines, concluant à ce que l'exécution de sa peine soit différée pour une durée indéterminée. Conformément à sa requête, ce recours a été muni de l'effet suspensif jusqu'à droit connu sur la demande de révision qu'il avait déposée parallèlement.
Par arrêt du 28 juillet 2008, le Tribunal cantonal vaudois a rejeté la demande de révision de X._, ensuite de quoi le Juge d'application des peines a repris l'instruction du recours dont il était saisi, l'assortissant de l'effet suspensif.
D. Au cours de l'instruction, une expertise psychiatrique a été confiée au Centre d'expertises du département de psychiatrie du CHUV.
Les experts ont déposé leur rapport le 15 janvier 2009. Ils ont posé le diagnostic de syndrome douloureux somatoforme persistant, de trouble dépressif récurrent sans symptômes psychotiques et de troubles mixtes de la personnalité. Ils ont notamment relevé que l'expertisé présentait une souffrance psychique depuis de nombreuses années, dont certains symptômes, bien que fluctuants, persistaient de manière constante dans le temps, et qu'il présentait en outre des signes d'une pathologie du caractère (trouble de la personnalité), cela déjà avant son inculpation pour maltraitance sur ses enfants.
Analysant la problématique de l'intéressé, les experts ont observé que ce dernier supportait mal la critique et la remise en question, qu'il vivait comme persécutoires et sources d'angoisse. Les remises en question pouvaient causer chez lui des effondrements anxio-dépressifs, susceptibles de conduire à des agissements auto-agressifs, voire hétéro-agressifs. Sa condamnation et les reports d'incarcération le confortaient dans son sentiment d'injustice.
Toujours selon les experts, lors des entretiens, l'expertisé présentait une symptomatologie dépressive avec une thymie abaissée, une agitation psychomotrice, un sentiment de dévalorisation, des troubles du sommeil importants et un sentiment de culpabilité envers ses enfants, mais n'avait en revanche pas d'idées suicidaires. Il n'y avait pas de raison de l'hospitaliser en urgence en milieu psychiatrique. Lorsqu'avait été évoquée la possibilité de son incarcération, l'expertisé était devenu menaçant, cette attitude étant vite remplacée par un sentiment de désespoir, le sentiment d'injustice et de blessure narcissique revenant au premier plan.
De l'avis des experts, il paraissait clair que l'incarcération serait vécue par l'expertisé comme une blessure narcissique majeure, avec, au vu de son trouble de la personnalité, un risque d'actes auto-agressifs, voire hétéro-agressifs. Ce risque ne contre-indiquait toutefois pas absolument l'incarcération. En effet, l'expertisé ne nécessitait pas en l'état une hospitalisation psychiatrique et les soins dont il avait besoin pouvaient lui être prodigués en prison par le SMPP.
A la question de savoir si le risque suicidaire devait essentiellement, voire exclusivement, être imputé à la perspective de l'incarcération, les experts ont répondu que l'expertisé le mettait essentiellement en lien avec cette perspective, mais que ce risque existait déjà par le passé, lorsqu'il se sentait remis en question. Les tentatives de suicide effectuées avaient eu lieu à l'extérieur du cadre carcéral et il n'était pas exclu que, indépendamment de la situation pénale, il passe à l'acte. Le risque de suicide existait au long cours et il n'était pas acquis que les structures de soins disponibles à l'extérieur seraient mieux à même d'empêcher la survenance d'une issue fatale.
E. Par arrêt du 18 février 2009, le Juge d'application des peines a rejeté le recours. Se fondant notamment sur l'expertise, il a estimé que les conditions d'une exception à l'entrée en détention n'étaient pas réunies.
F. X._ forme un "recours" au Tribunal fédéral, pour violation de l'<ref-law>. Il conclut à l'annulation de l'arrêt attaqué et à ce que l'exécution de sa peine soit différée pour une durée indéterminée. Il sollicite l'assistance judiciaire et l'effet suspensif. Des déterminations n'ont pas été requises.

Considérant en droit:
1. Rendu en dernière instance cantonale, l'arrêt attaqué, qui porte sur l'exécution d'une peine, peut faire l'objet d'un recours en matière pénale (art. 80 al. 1 et 78 al. 2 let. b LTF). Le présent recours sera donc traité comme tel.
2. Invoquant une violation de l'<ref-law>, qui prévoit que l'exécution des peines et mesures peut être interrompue pour un motif grave, le recourant reproche à l'autorité cantonale d'avoir nié l'existence d'un tel motif.
2.1 L'<ref-law> correspond à l'art. 40 al. 1 aCP, de sorte que la jurisprudence relative à cette dernière disposition conserve sa valeur.
Selon cette jurisprudence, le traitement et la guérison d'un détenu doivent en principe être assurés dans le cadre de l'exécution, au besoin adaptée dans la mesure nécessaire, de la peine. Une exception à ce principe n'est possible que si la maladie est d'une nature telle qu'elle entraîne une incapacité complète de subir une incarcération de durée indéterminée ou du moins de longue durée et si la mise en liberté s'impose à ce point que la nécessité des soins et de la guérison doit l'emporter sur les buts poursuivis par l'exécution de la peine. Lorsqu'un traitement médical approprié reste compatible avec l'incarcération, il n'y a pas lieu d'interrompre, respectivement d'ajourner, l'exécution de la peine (<ref-ruling> consid. 7a p. 324; <ref-ruling> consid. 3 p. 186).
Le report de l'exécution de la peine pour une durée indéterminée ne doit être admis qu'avec une grande retenue. La simple éventualité d'un danger pour la vie ou la santé ne suffit manifestement pas à le justifier. Il faut qu'il apparaisse hautement probable que l'exécution de la peine mettra en danger la vie ou la santé de l'intéressé (<ref-ruling> consid. 2c p. 71/72). Ces considérations valent en principe aussi pour les cas où l'incarcération crée un danger de suicide. Vu les difficultés de preuve, il y a même lieu, dans ces cas, d'observer une plus grande retenue. Le risque de suicide ne saurait devenir un ultime moyen de droit pour faire échec à un jugement exécutoire et être utilisé pour pallier à l'absence de chances de succès d'une demande de grâce. Un différé de l'exécution de la peine n'entre pas en considération aussi longtemps que le risque de suicide peut être fortement réduit par des mesures appropriées en détention (<ref-ruling> consid. 2d p. 72).
2.2 De l'expertise, il résulte que le recourant présente un risque de suicide, voire d'acte hétéro-agressif. Ce risque a essentiellement sa source dans les troubles dont il souffre. Il existait en effet déjà par le passé, notamment avant l'inculpation du recourant pour maltraitance sur ses enfants. Il se présente dès que celui-ci se sent d'une manière ou d'une autre remis en question. Il s'agit au demeurant d'un risque "au long cours". On est fondé à en déduire que le risque litigieux peut aussi se réaliser indépendamment de l'incarcération, comme le relève d'ailleurs l'expertise.
Cela étant, il existe, selon les experts, "une forte probabilité de passage à l'acte" en cas d'incarcération. A elle seule, cette probabilité ne suffit cependant pas à exclure l'incarcération, si un traitement médical approprié en détention permet de contenir suffisamment la réalisation de ce risque. Or, tel est en l'occurrence le cas de l'avis des experts. Ces derniers ont en effet estimé que les soins qu'appellent impérativement l'état du recourant et le risque de suicide inhérent à cet état peuvent lui être prodigués en détention par le SMPP et qu'ils ne permettraient pas moins d'éviter une issue fatale que ceux auxquels le recourant peut avoir accès à l'extérieur.
Ces considérations amènent à la conclusion que le risque de suicide que présente le recourant n'exclut pas son incarcération. Cette dernière aura certes pour effet d'augmenter considérablement ce risque. Les soins dont le recourant a besoin peuvent toutefois lui être procurés par le SMPP, du moins dans une mesure équivalente à ceux dont il pourrait bénéficier en liberté. Or, lorsqu'un traitement approprié en détention reste compatible avec l'incarcération, il n'y a pas lieu d'interrompre, respectivement de différer, l'exécution de la peine (cf. supra, consid. 2.1; <ref-ruling> consid. 2d p. 72; <ref-ruling> consid. 7a p. 324; <ref-ruling> consid. 3 p. 186). On ne se trouve donc pas dans un cas où il peut, exceptionnellement, être renoncé à l'exécution de la peine. Il apparaît au contraire que les reports répétés de celle-ci, plutôt que de favoriser une amélioration de l'état du recourant, lui deviennent préjudiciables, dans la mesure où ils ravivent constamment les angoisses que suscitent la perspective d'une incarcération sans cesse repoussée et renforcent le faux sentiment qu'il semble éprouver que la non-exécution de la peine équivaut à un constat d'innocence. Dans ces conditions, l'autorité cantonale n'a pas violé l'<ref-law> en refusant d'ajourner l'exécution de la peine.
2.3 Le grief et, partant, le recours doit ainsi être rejeté.
3. Comme les conclusions du recours étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (cf. <ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.
Le prononcé sur le recours rend la requête d'effet suspensif sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Juge d'application des peines du canton de Vaud.
Lausanne, le 26 mai 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Angéloz