Faits:
A. A.a Le 13 juin 2003, Y._ a inscrit son fils X._, né en 1987, comme interne à l'Institut Z._ SA (ci-après Z._), à ... (VD). En tant que seule détentrice de l'autorité parentale, elle a rempli et signé la formule d'inscription ainsi que les conditions financières. Celles-ci fixent notamment le versement de frais uniques d'inscription par 2'000 fr., le dépôt d'une garantie de 6'000 fr. ainsi que le paiement des frais annuels de pension et d'écolage à hauteur de 68'400 fr. répartis en trois trimestres de 22'800 fr. chacun, payables au 31 juillet 2003 pour les deux premiers et au 31 janvier 2004 pour le dernier. Ces conditions financières prévoient en outre qu'en cas de renvoi de l'école ou de retrait décidé unilatéralement par les parents d'un élève, le trimestre en cours et celui qui suit le départ de l'élève sont dus à l'Institut Z._. Y._ a versé à l'Institut Z._ l'ensemble de ces montants, soit la somme de 76'400 fr., par virement bancaire du 2 juillet 2003.
À son arrivée à l'Institut Z._ le 6 septembre 2003, X._ s'est engagé par écrit à respecter les Codes de l'Institut dont il avait pris connaissance. Il a également reçu un document intitulé « Les règles essentielles », qui précise notamment les fautes inadmissibles entraînant un renvoi immédiat, à savoir (1) la détention et la consommation de tout type de drogue, à l'Institut Z._ comme pendant les week-ends et les vacances, et (2) la sortie non autorisée hors d'un bâtiment entre les heures de coucher et de lever.
A.b Un incident disciplinaire a eu lieu peu de jours après l'arrivée de X._ à l'Institut Z._. Sur ce point, les constatations de l'autorité précédente doivent être complétées d'office, en application de l'art. 105 al. 2 LTF, par la précision que l'intéressé a quitté l'établissement le samedi soir, malgré les consignes contraires qu'il avait reçues, pour n'y revenir que le lendemain à 17h30. Le 29 septembre 2003, une décision de renvoi a été prise. Par la suite, les parties ont convenu d'un arrangement aux termes duquel le renvoi était commué en une suspension d'un trimestre avec retour de l'élève en janvier 2004, à condition que son comportement dans un autre établissement ne donne pas lieu à des actes d'indiscipline grave justifiant un conseil de discipline à l'Institut Z._. Conformément à cet arrangement, X._ a été transféré au Collège de A._, à .... Le 28 janvier 2004, il a été renvoyé de cet établissement pour consommation de drogues. Pour ce motif, une réadmission au deuxième trimestre à l'Institut Z._ a été refusée et X._ a été définitivement renvoyé de l'Institut.
À teneur de la procédure, il n'a pas été établi qu'un élève aurait pu être admis à l'Institut Z._ pour remplacer X._ pendant son absence au premier trimestre et/ou après son renvoi définitif.
B. B.a Le 15 juillet 2004, X._ et Y._ ont saisi le Tribunal d'arrondissement de la Côte d'une demande dirigée contre Z._ tendant principalement, avec suite de frais et dépens, au paiement de la somme de 51'600 fr. avec intérêts à 5% l'an dès le 7 avril 2004, sous déduction de 894 fr. 20 de frais et dépenses personnelles de X._ et de l'équivalent de l'écolage dû à l'Institut Z._ pour la période du 6 au 29 septembre 2003. La défenderesse a conclu à libération et a pris des conclusions reconventionnelles tendant au paiement par les demandeurs de la somme de 1'886 fr. avec intérêts à 5% l'an dès le 9 septembre 2004, auxquelles les demandeurs se sont opposés.
Par jugement du 31 octobre 2006, le Tribunal a rejeté les conclusions des demandeurs et a fait droit aux conclusions reconventionnelles de la défenderesse, le tout avec suite de frais et dépens.
B.b Statuant par arrêt du 14 novembre 2007, dont les considérants ont été expédiés aux parties le 17 avril 2008, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours formé par les demandeurs contre ce jugement, qu'elle a confirmé.
En substance, les juges cantonaux ont retenu que l'imputabilité à l'élève de son renvoi résultait du dossier et n'avait pas été contestée en première instance. Ils ont considéré que le contrat liant les parties était soumis aux règles du mandat et que l'art. 404 CO permettait à la défenderesse de résilier le contrat en raison du comportement de l'élève. Ils ont jugé que les conditions financières du contrat stipulaient valablement une clause pénale, au sens des art. 160 ss CO, prévoyant qu'en cas de renvoi, le paiement du trimestre en cours et de celui suivant le départ de l'élève, soit en l'occurrence 45'600 fr., était dû à la défenderesse. Or, compte tenu du paiement des frais du Collège de A._ par 27'905 fr. 80, qui avait été directement effectué par Z._ le 21 janvier 2004, de l'écolage dû à l'Institut Z._ pour la période du 6 au 29 septembre 2003, qui s'élevait selon l'expertise judiciaire à 5'312 fr. 60, et des dépenses personnelles de l'élève par 894 fr. 20, le solde de 43'181 fr. 60 restant sur le versement de 76'400 fr. opéré le 2 juillet 2003 était inférieur au montant de la clause pénale de 45'600 frque la défenderesse pouvait légitimement invoquer, si bien que le recours des demandeurs devait être rejeté.
C. Agissant par la voie du recours en matière civile au Tribunal fédéral, les demandeurs concluent avec suite de frais et dépens à la réforme de cet arrêt dans le sens de l'admission des conclusions de leur demande du 15 juillet 2004. La défenderesse et intimée conclut avec suite de frais et dépens au rejet du recours.
Considérant en droit:
1. 1.1 Interjeté par la partie demanderesse qui a succombé dans ses conclusions en paiement prises devant l'autorité précédente et qui a donc qualité pour recourir (art. 76 al. 1 LTF; ATF 133 III 421 consid. 1.1), le recours est dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Portant sur une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours est donc en principe recevable, puisqu'il a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prévues par la loi (art. 42 LTF).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Sous réserve de l'exception prévue par l'art. 106 al. 2 LTF pour la violation de droits fondamentaux ou de dispositions de droit cantonal et intercantonal (cf. ATF 133 II 249 consid. 1.4.2), le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1; 133 II 249 consid. 1.4.1; 133 IV 150 consid. 1.2).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). La notion de faits qui ont été établis de façon manifestement inexacte, utilisée à l'art. 105 al. 2 LTF, correspond à celle d'arbitraire au sens de l'art. 9 Cst. (Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4135, ch. 4.1.4.2; cf. ATF 134 V 53 consid. 4.3; 133 II 249 consid. 1.4.3, 384 consid. 4.2.2).
En matière d'appréciation des preuves et d'établissement des faits, l'autorité tombe dans l'arbitraire, selon la jurisprudence, lorsqu'elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3; 129 I 8 consid. 2.1; 118 Ia 28 consid. 1b et les arrêts cités). Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire préférable (ATF 133 I 149 consid. 3.1; 132 III 209 consid. 2.1; 129 I 8 consid. 2.1).
La partie recourante doit expliquer de manière circonstanciée en quoi l'appréciation des preuves respectivement l'établissement des faits par l'autorité précédente est arbitraire, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 III 462 consid. 2.4; 133 II 249 consid. 1.4.3; 133 IV 150 consid. 1.3, 286 consid. 1.4). Le Tribunal fédéral n'a pas à entrer en matière sur une argumentation appellatoire, c'est-à-dire sur celle qui ne fait que l'inviter à substituer sa propre appréciation des preuves à celle du juge du fait (ATF 133 III 585 consid. 4.1; 130 I 258 consid. 1.3; 117 Ia 10 consid. 4b; 110 Ia 1 consid. 2a), sans tenter de démontrer que le raisonnement suivi par celui-ci, ou le résultat auquel il est parvenu, est insoutenable.
2. 2.1 Dans un premier moyen, les recourants soutiennent que la cour cantonale aurait écarté sans motif des allégations prouvées des recourants et tenu pour exactes des allégations non prouvées de l'intimée, ce qui reviendrait à éluder les règles de l'art. 8 CC et à violer la présomption de faute du mandataire posée par les art. 97 et 398 CO.
2.2 Sous couvert du grief de violation de l'art. 8 CC ainsi que des art. 97 et 398 CO, les recourants entendent en réalité remettre en cause l'appréciation des preuves à laquelle a procédé l'autorité cantonale.
2.2.1 S'agissant des motifs ayant conduit au renvoi de l'élève, tant l'épisode de la fugue que celui de la consommation de drogue reposent sur plusieurs pièces de la procédure que les juges cantonaux ont visées dans leur arrêt. À ce propos, les recourants n'expliquent pas en quoi ces faits seraient en contradiction évidente avec d'autres éléments du dossier ou heurteraient de façon choquante le sentiment de la justice et de l'équité; ils ne critiquent pas non plus l'assertion de la cour cantonale selon laquelle ils n'avaient pas contesté en première instance l'imputabilité à l'élève de son renvoi; enfin, ils ne démontrent pas en quoi la décision cantonale serait arbitraire dans son résultat. II en va de même de la critique relative au fait qu'aucun autre élève n'avait été accueilli en lieu et place de X._ à la suite de son renvoi; là encore, les recourants se contentent d'opposer leur propre version des faits à celle retenue par les instances inférieures.
2.2.2 Les recourants reprochent également à l'autorité cantonale de ne pas avoir retenu que l'intimée aurait omis de surveiller son élève lors de la fugue du mois de septembre 2003. Même si le Tribunal fédéral complète sur ce point l'état de fait de l'arrêt attaqué en fonction des pièces de la procédure visées par la cour cantonale, les recourants ne démontrent pas en quoi l'intimée aurait violé son devoir de surveillance; sur ce sujet précis, d'ailleurs, ils n'ont allégué aucun fait à l'appui de cette thèse dans leur demande qui fixe le cadre des débats.
2.3 En définitive, les recourants se bornent à discuter sur un mode appellatoire des faits souverainement établis par l'instance cantonale, ce qui n'est pas admissible devant le Tribunal fédéral (cf. consid. 1.3 supra). Sur tous ces points, le recours est donc irrecevable.
3. 3.1 Les recourants se plaignent ensuite d'une violation de l'art. 404 CO. Ils soutiennent en particulier que la résiliation du mandat serait intervenue en temps inopportun, ce qui n'autoriserait pas l'intimée à se prévaloir d'une peine conventionnelle, et que cette résiliation aurait été révoquée au profit d'une déclaration de recontracter conditionnelle, ce qui serait contraire au droit fédéral.
3.2 L'autorité cantonale a retenu à juste titre que les recourants étaient liés à l'intimée par un contrat mixte relevant principalement des règles du mandat, qui sont applicables au contrat d'internat et d'enseignement (Marc Amstutz/Walter Schluep, Basler Kommentar, Obligationenrecht I, 4e éd. 2007, n. 401 ad introduction aux art. 184 ss CO). Cette qualification entraîne en particulier l'application de l'art. 404 CO (Amstutz/Schluep, op. cit., n. 408 ad introduction aux art. 184 ss CO).
Selon l'art. 404 al. 1 CO, le mandat peut être révoqué ou répudié en tout temps. En tant qu'acte formateur résolutoire, la résiliation du mandat prend effet au moment où elle entre dans la sphère de puissance de son destinataire. Il découle de son caractère formateur que la résiliation, une fois exercée, ne peut en principe pas être révoquée (Rolf Weber, Basler Kommentar, Obligationenrecht I, 4e éd. 2007, n. 6 ad art. 404 CO; Franz Werro, Commentaire romand, Code des obligations I, 2003, n. 4 ad art. 404 CO). Il est toutefois loisible aux parties, si elles tombent d'accord sur ce point, d'annuler cette résiliation avec effet rétroactif (Fellmann, Berner Kommentar, Band VI/4/2, 1992, n. 32 ad art. 404 CO).
Si la révocation intervient en temps inopportun, le mandataire doit indemniser le mandant du dommage qu'il lui cause (art. 404 al. 2 CO). En revanche, si cette révocation est fondée sur un juste motif, elle n'oblige pas à réparation (arrêt 4C.323/1999 du 22 décembre 1999, reproduit in SJ 2000 I 485, consid. 1a/bb; arrêt 4C.362/1997 du 5 février 1998, reproduit in SJ 1998 p. 620, consid. 2 et les références citées). Elle peut toutefois fonder, selon la règle générale de l'art. 97 al. 1 CO, une obligation de réparer de la part de la partie qui a provoqué par sa faute la fin du contrat (cf. Werro, op. cit., n. 13 ad art. 404 CO; en matière de contrat d'enseignement, voir Amstutz/Schluep, op. cit., n. 408 in fine ad introduction aux art. 184 ss CO).
3.3 En l'espèce, les juges cantonaux ont définitivement établi que la résiliation du contrat par l'intimée était la conséquence de la violation par l'élève de certaines règles élémentaires édictées par l'intimée. S'agissant ainsi d'une résiliation fondée sur des motifs sérieux, l'art. 404 al. 2 CO, qui vise uniquement la résiliation en temps inopportun, ne trouve pas application et le grief de violation de cette disposition tombe dès lors entièrement à faux.
3.4 C'est également à tort que les recourants se plaignent d'une violation de l'art. 404 al. 2 CO en relation avec l'existence d'une peine conventionnelle prévue par les parties. Cette disposition est certes de droit impératif (ATF 115 Il 464 consid. 2a et les références citées; arrêt 4C.447/2004 du 31 mars 2005, reproduit in SJ 2005 I 417 consid. 5.4), de sorte que le libre exercice du droit de résilier ne peut être restreint par une peine conventionnelle plus sévèrement qu'il ne le serait par le biais de l'indemnisation prévue à l'art. 404 al. 2 CO (ATF 110 II 380 consid. 4a; Werro, op. cit., n. 20 ad art. 404). En l'espèce, toutefois, le contrat a été révoqué par l'Institut et la peine conventionnelle est due par les cocontractants en raison du comportement fautif de l'élève qui a provoqué la rupture des relations contractuelles. Il ne s'agit donc pas d'un cas où le droit de résilier aurait été restreint.
3.5 Les recourants soutiennent encore que l'intimée ne pouvait pas revenir sur sa décision du 29 septembre 2003 de résilier le mandat, un tel procédé contrevenant à l'art. 404 CO.
Ce grief se heurte toutefois aux faits tels qu'ils ont été établis par l'autorité précédente, qui lient le Tribunal fédéral (art. 105 al. 1 LTF; cf. consid. 1.3 supra). Celle-ci a en effet retenu que les parties, après la décision de renvoi prise par l'intimée le 29 septembre 2003, avaient d'un commun accord décidé de poursuivre leur relation contractuelle moyennant de nouvelles modalités (transfert provisoire dans un autre établissement pendant un trimestre et absence de tout acte d'indiscipline grave dans cet autre établissement). Dans ces conditions, les parties ont valablement annulé la résiliation du 29 septembre 2003 avec effet rétroactif et le grief des recourants se révèle infondé.
4. 4.1 Les recourants invoquent enfin une violation des art. 20 et 163 CO en relation avec le montant de la peine conventionnelle prévue dans les conditions financières de l'intimée. Ils soutiennent que ce montant serait manifestement inéquitable et ne devrait pas dépasser 10% du montant de l'écolage du trimestre.
4.2 Les parties ne critiquent pas la qualification juridique retenue par la cour cantonale, à savoir celle d'une clause pénale au sens de l'art. 160 CO, laquelle apparaît d'ailleurs conforme à la jurisprudence et à la doctrine (cf. ATF 133 III 43 consid. 3.2 et les références citées; sur la difficulté à distinguer clause pénale et indemnisation forfaitaire du dommage, voir Gaspard Couchepin, La clause pénale, thèse Fribourg 2008, n. 1034 ss, spéc. n. 1047 à 1051). Au vu de cette qualification, la question de la réduction de la peine conventionnelle par le juge est envisageable.
4.3 Aux termes de l'art. 163 al. 3 CO, le juge doit réduire les peines qu'il estime excessives. Il observera toutefois une certaine réserve, car les parties sont libres de fixer le montant de la peine (art. 163 al. 1 CO) et les contrats doivent en principe être respectés; une intervention du juge n'est nécessaire que si le montant fixé est si élevé qu'il dépasse toute mesure raisonnable, au point de n'être plus compatible avec le droit et l'équité (ATF 133 III 43 consid. 3.3.1; 114 II 264 consid. 1a; 103 II 129 consid. 4 et les références citées). Une réduction de peine se justifie en particulier lorsqu'il existe une disproportion crasse entre le montant convenu et l'intérêt du créancier à maintenir la totalité de sa prétention, mesuré concrètement au moment où la violation contractuelle est survenue; pour juger du caractère excessif de la peine conventionnelle, il ne faut pas raisonner abstraitement, mais, au contraire, prendre en considération toutes les circonstances concrètes de l'espèce; il y a ainsi lieu de tenir compte notamment de la nature et de la durée du contrat, de la gravité de la faute et de la violation contractuelle, ainsi que de la situation économique des parties, en particulier de celle du débiteur (ATF 133 III 43 consid. 3.3.2; 114 II 264 consid. 1a; 103 II 129 consid. 4 et les références citées). Il n'appartient pas au créancier de prouver que la peine stipulée est appropriée, mais au débiteur d'alléguer et d'établir des faits qui justifient une réduction (art. 8 CC; ATF 133 III 43 consid. 4.1; 114 II 264 consid. 1b; 103 II 108 et les références citées). À défaut de tels faits, le juge ne peut pas réduire la peine (Couchepin, op. cit., n. 850).
4.4 En l'espèce, l'autorité cantonale a relevé qu'aucun élément de fait n'avait été allégué qui soit de nature à faire paraître excessif le montant de la présente clause pénale. Devant le Tribunal fédéral, les recourants se bornent à affirmer, dans un style éminemment appellatoire, que le montant correspondant à deux trimestres d'écolage est manifestement inéquitable. En l'absence de faits pertinents, précis et régulièrement allégués par les recourants, une réduction de la peine conventionnelle est en principe exclue.
De surcroît, les circonstances de l'espèce amènent de toute manière à considérer que le paiement de deux trimestres d'écolage à titre de clause pénale n'apparaît pas d'emblée excessif. S'agissant en effet d'un contrat portant sur l'hébergement et l'enseignement scolaire, le remplacement d'un élève par un autre en cours d'année n'est ni fréquent, ni facile à organiser. À cet égard, les juges cantonaux ont d'ailleurs retenu qu'il n'avait pas été établi qu'un autre élève aurait pu remplacer le recourant durant son absence au premier trimestre et/ou après son renvoi définitif. Le paiement du trimestre au cours duquel le renvoi est prononcé ainsi que du trimestre suivant n'apparaît ainsi pas inéquitable. Quant à l'argumentation des recourants relative à la question de savoir si la clause pénale peut ou non couvrir le manque à gagner du créancier, elle se fonde uniquement sur l'art. 404 al. 2 CO, dont on a déjà vu qu'il ne s'appliquait pas à la présente espèce.
5. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Les recourants, qui succombent, supporteront les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il sera également mis à leur charge solidaire une indemnité à payer à l'intimée à titre de dépens (art. 68 al. 1, 2 et 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Une indemnité de 3'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 juillet 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: Le Greffier:
Corboz Abrecht