Faits: A. A.a Le 13 juin 2003, Y._ a inscrit son fils X._, né en 1987, comme interne à l'Institut Z._ SA (ci-après Z._), à ... (VD). En tant que seule détentrice de l'autorité parentale, elle a rempli et signé la formule d'inscription ainsi que les conditions financières. Celles-ci fixent notamment le versement de frais uniques d'inscription par 2'000 fr., le dépôt d'une garantie de 6'000 fr. ainsi que le paiement des frais annuels de pension et d'écolage à hauteur de 68'400 fr. répartis en trois trimestres de 22'800 fr. chacun, payables au 31 juillet 2003 pour les deux premiers et au 31 janvier 2004 pour le dernier. Ces conditions financières prévoient en outre qu'en cas de renvoi de l'école ou de retrait décidé unilatéralement par les parents d'un élève, le trimestre en cours et celui qui suit le départ de l'élève sont dus à l'Institut Z._. Y._ a versé à l'Institut Z._ l'ensemble de ces montants, soit la somme de 76'400 fr., par virement bancaire du 2 juillet 2003. À son arrivée à l'Institut Z._ le 6 septembre 2003, X._ s'est engagé par écrit à respecter les Codes de l'Institut dont il avait pris connaissance. Il a également reçu un document intitulé « Les règles essentielles », qui précise notamment les fautes inadmissibles entraînant un renvoi immédiat, à savoir (1) la détention et la consommation de tout type de drogue, à l'Institut Z._ comme pendant les week-ends et les vacances, et (2) la sortie non autorisée hors d'un bâtiment entre les heures de coucher et de lever. A.b Un incident disciplinaire a eu lieu peu de jours après l'arrivée de X._ à l'Institut Z._. Sur ce point, les constatations de l'autorité précédente doivent être complétées d'office, en application de l'art. 105 al. 2 LTF, par la précision que l'intéressé a quitté l'établissement le samedi soir, malgré les consignes contraires qu'il avait reçues, pour n'y revenir que le lendemain à 17h30. Le 29 septembre 2003, une décision de renvoi a été prise. Par la suite, les parties ont convenu d'un arrangement aux termes duquel le renvoi était commué en une suspension d'un trimestre avec retour de l'élève en janvier 2004, à condition que son comportement dans un autre établissement ne donne pas lieu à des actes d'indiscipline grave justifiant un conseil de discipline à l'Institut Z._. Conformément à cet arrangement, X._ a été transféré au Collège de A._, à .... Le 28 janvier 2004, il a été renvoyé de cet établissement pour consommation de drogues. Pour ce motif, une réadmission au deuxième trimestre à l'Institut Z._ a été refusée et X._ a été définitivement renvoyé de l'Institut. À teneur de la procédure, il n'a pas été établi qu'un élève aurait pu être admis à l'Institut Z._ pour remplacer X._ pendant son absence au premier trimestre et/ou après son renvoi définitif. B. B.a Le 15 juillet 2004, X._ et Y._ ont saisi le Tribunal d'arrondissement de la Côte d'une demande dirigée contre Z._ tendant principalement, avec suite de frais et dépens, au paiement de la somme de 51'600 fr. avec intérêts à 5% l'an dès le 7 avril 2004, sous déduction de 894 fr. 20 de frais et dépenses personnelles de X._ et de l'équivalent de l'écolage dû à l'Institut Z._ pour la période du 6 au 29 septembre 2003. La défenderesse a conclu à libération et a pris des conclusions reconventionnelles tendant au paiement par les demandeurs de la somme de 1'886 fr. avec intérêts à 5% l'an dès le 9 septembre 2004, auxquelles les demandeurs se sont opposés. Par jugement du 31 octobre 2006, le Tribunal a rejeté les conclusions des demandeurs et a fait droit aux conclusions reconventionnelles de la défenderesse, le tout avec suite de frais et dépens. B.b Statuant par arrêt du 14 novembre 2007, dont les considérants ont été expédiés aux parties le 17 avril 2008, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours formé par les demandeurs contre ce jugement, qu'elle a confirmé. En substance, les juges cantonaux ont retenu que l'imputabilité à l'élève de son renvoi résultait du dossier et n'avait pas été contestée en première instance. Ils ont considéré que le contrat liant les parties était soumis aux règles du mandat et que l'art. 404 CO permettait à la défenderesse de résilier le contrat en raison du comportement de l'élève. Ils ont jugé que les conditions financières du contrat stipulaient valablement une clause pénale, au sens des art. 160 ss CO, prévoyant qu'en cas de renvoi, le paiement du trimestre en cours et de celui suivant le départ de l'élève, soit en l'occurrence 45'600 fr., était dû à la défenderesse. Or, compte tenu du paiement des frais du Collège de A._ par 27'905 fr. 80, qui avait été directement effectué par Z._ le 21 janvier 2004, de l'écolage dû à l'Institut Z._ pour la période du 6 au 29 septembre 2003, qui s'élevait selon l'expertise judiciaire à 5'312 fr. 60, et des dépenses personnelles de l'élève par 894 fr. 20, le solde de 43'181 fr. 60 restant sur le versement de 76'400 fr. opéré le 2 juillet 2003 était inférieur au montant de la clause pénale de 45'600 frque la défenderesse pouvait légitimement invoquer, si bien que le recours des demandeurs devait être rejeté. C. Agissant par la voie du recours en matière civile au Tribunal fédéral, les demandeurs concluent avec suite de frais et dépens à la réforme de cet arrêt dans le sens de l'admission des conclusions de leur demande du 15 juillet 2004. La défenderesse et intimée conclut avec suite de frais et dépens au rejet du recours.