Faits:
A. A.a Le 15 mai 2003, A.X._ et B.X._, en tant que locataires, et Y._, en tant que bailleur, ont conclu un contrat de bail à loyer portant sur une habitation, sise à l'avenue ..., à Lausanne. D'une durée initiale limitée au 1er juillet 2004, le bail se renouvelait tacitement d'année en année. Le loyer mensuel s'élevait à 1'900 fr., acompte de chauffage et d'eau chaude compris. La gestion de la chose louée a été confiée à V._ SA.
A.b Par lettres recommandées séparées du 1er mars 2007, V._ SA a sommé les locataires de s'acquitter, dans les trente jours, de 4'218 fr., sous peine de résiliation du bail. Cette somme correspond aux loyers des mois de février et mars 2007 (2 x 1'900 fr.) et aux intérêts de retard et de participation aux frais d'intervention (418 fr.).
Le 17 avril 2007, le bailleur a résilié le contrat de bail avec effet au 31 mai 2007 au moyen de la formule officielle.
Les locataires ont saisi la Commission de conciliation du district de Lausanne, le 20 avril 2007, pour contester le congé.
B. Par lettre du 1er juin 2007, le bailleur a demandé au Juge de paix du district de Lausanne d'ordonner l'expulsion de A.X._ et de B.X._ de l'appartement loué.
Par ordonnance du 12 juillet 2007, déclarée immédiatement exécutoire, le Juge de paix a sommé A.X._ et B.X._ de quitter les lieux et de les rendre libres pour le 8 août 2007.
Les locataires ont recouru contre cette ordonnance et l'effet suspensif a été accordé.
Statuant par arrêt du 20 septembre 2007, déclaré exécutoire, la Chambre des recours du Tribunal cantonal vaudois a confirmé l'ordonnance attaquée et renvoyé la cause au Juge de paix afin qu'il fixe aux recourants un nouveau délai pour libérer les locaux litigieux. Après avoir relevé que les frais d'intervention ne pouvaient être valablement compris dans une mise en demeure, la cour cantonale a considéré qu'à défaut de disproportion entre le montant réclamé dans la mise en demeure du 1er mars 2007 et celui correspondant à l'arriéré des loyers de février et mars 2007, le congé n'était pas inefficace. Les juges ont ensuite estimé que les montants réclamés étaient exigibles et qu'ils n'avaient pas été payés dans le délai comminatoire. Ils ont ainsi arrêté que la résiliation intervenue le 17 avril 2007 était conforme au droit. La juridiction cantonale a enfin relevé qu'aucun des éléments plaidés par les locataires était de nature à établir que le congé signifié serait contraire aux règles de la bonne foi.
C. C.a Agissant principalement par la voie du recours en matière civile et subsidiairement par celle du recours constitutionnel, les locataires requièrent le Tribunal fédéral de réformer l'arrêt de la Chambre des recours en ce sens que la requête d'expulsion est rejetée. A titre subsidiaire, ils demandent l'annulation de l'arrêt attaqué et le renvoi de la cause à la Chambre des recours pour nouvelle instruction et nouvelle décision dans le sens des considérants. Les locataires concluent également à l'octroi de l'effet suspensif.
Le bailleur propose le rejet de la requête d'effet suspensif, ainsi que celui des deux recours.
C.b Par ordonnance présidentielle du 17 décembre 2007, l'effet suspensif a été accordé aux recours.

Considérant en droit:
1. Interjeté par les locataires qui ont succombé dans leurs conclusions (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire de bail à loyer dont la valeur litigieuse atteint le seuil de 15'000 fr. (<ref-law>; pour la détermination de la valeur litigieuse en cas de contestation d'une résiliation, cf. <ref-ruling> consid. 1; <ref-ruling> consid. 1), le recours en matière civile est en principe recevable puisqu'il a été déposé dans le délai et la forme prévus par la loi (art. 100 al. 1 et art. 42 LTF). Il s'ensuit que le recours constitutionnel, qui est subsidiaire (<ref-law>), est irrecevable.
2. 2.1 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui.
2.2 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
3. Les recourants s'en prennent tout d'abord aux constatations de fait de l'autorité cantonale.
3.1 A teneur de l'<ref-law>, le Tribunal fédéral peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>. Ce n'est que dans cette mesure que la partie recourante est recevable à critiquer les constatations de fait, et cela uniquement pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). La notion de "manifestement inexacte" évoquée ci-dessus correspond à celle d'arbitraire au sens de l'art. 9 Cst. (cf. Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4135, ch. 4.1.4.2).
En matière d'appréciation des preuves et de constatations de fait, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1).
3.2 Les recourants reprochent à l'autorité cantonale de n'avoir pas pris en compte des faits régulièrement allégués dans leur mémoire, accompagné d'un onglet de 40 pièces sous bordereau et adressé au Juge de paix du district de Lausanne en vue de l'audience du .... Or, ces faits - prouvés - sont des moyens importants propres à modifier la décision attaquée, puisqu'au vu de l'ensemble des faits en question l'<ref-law> trouve application. Ces faits se rapportent à l'existence de deux procédures préalables à celle litigieuse, à l'état de santé du locataire A.X._, ainsi qu'à l'octroi d'une prolongation du délai de paiement des loyers échus.
Le grief tombe à faux. En effet, quoi qu'en disent les recourants, la juridiction cantonale n'a pas omis de prendre en compte les faits allégués par les locataires. Après avoir rappelé en préambule de son analyse les faits litigieux, la cour a retenu que ces faits n'étaient pas de nature à établir que le congé signifié serait contraire aux règles de la bonne foi. L'autorité cantonale a relevé que les locataires n'ont pas établi avoir obtenu une prolongation tacite du délai de paiement concernant les loyers de l'appartement, la prolongation accordée ne se rapportant qu'au garage. Elle a également indiqué que tant la réduction de loyer de 5,66% requise à la fin janvier que l'échec d'une précédente procédure d'expulsion ne sont pas de nature à rendre abusive la résiliation du bail pour demeure des locataires.
En outre, les recourants ne parviennent pas à démontrer que l'autorité cantonale se serait livrée à une appréciation arbitraire des preuves. A suivre les recourants, un délai de paiement leur aurait été accordé lors de la conversation téléphonique du 8 février 2007. Ils en veulent pour preuve la lettre qu'ils ont écrite le même jour à l'intimé, ainsi que le 7 mars 2007, et estiment que l'absence de réaction de l'intimé confirme l'octroi d'un délai de paiement. Ils se réfèrent aussi aux lettres des 19 et 30 avril 2007.
En dépit de ce que soutiennent les recourants, l'octroi d'une prolongation du délai de paiement ne saurait être déduit des pièces énumérées dans le recours. Dans la mesure où les lettres invoquées (pièces nos 132, 137, 139a et b, 140a et b) ont été rédigées par les recourants, elles ne sont en effet pas propres à constituer des preuves suffisantes. Quant au relevé de compte établi le 27 mars 2007 par V._ SA (pièce no 138), il n'est d'aucun secours aux recourants, dès lors que ce titre concerne la prolongation accordée pour le loyer du garage no 5 et non pas pour l'appartement litigieux - ce qui est même souligné par les recourants.
Il convient encore d'observer que lorsque les recourants prétendent, à l'appui de leur argumentation, qu'il n'y a pas eu de réaction de la part de l'intimé à la suite de la lettre du 8 février 2007, ils font fi de la constatation des juges cantonaux, selon laquelle en date du 1er mars 2007, le bailleur a sommé les locataires de s'acquitter des loyers arriérés. Or, il est constant que, par l'envoi d'une telle sommation, l'intimé a exprimé son désaccord à une éventuelle demande de prolongation.
4. Les recourants dénoncent une violation des <ref-law> et 2 CC.
4.1 Le congé donné en cas de demeure du locataire en application de la procédure prévue à l'<ref-law> peut être annulable. L'<ref-law> déclare annulable tout congé, par le bailleur ou par le locataire, qui contrevient aux règles de la bonne foi.
Pour que la résiliation donnée pour cause de demeure du locataire soit annulée, elle doit apparaître inadmissible au regard de la jurisprudence relative à l'abus de droit et à la bonne foi. Tel peut être le cas si le bailleur, lors de la fixation du délai comminatoire, réclame au locataire une somme largement supérieure à celle en souffrance, sans être certain du montant effectivement dû, si le montant impayé est insignifiant, si l'arriéré a été réglé très peu de temps après l'expiration du délai comminatoire, alors que le locataire s'était jusqu'ici toujours acquitté à temps du loyer, ou si le bailleur résilie le contrat longtemps après l'expiration de ce délai (cf. <ref-ruling> consid. 4; arrêt 4C.35/2004 du 27 avril 2004, reproduit in: SJ 2004 I 424, consid. 3.1 et les références citées).
Le congé donné au locataire en demeure peut aussi être annulé pour le motif qu'il constitue un congé de représailles au sens de l'<ref-law>. Toutefois, si un litige, portant sur le bail et dans lequel le locataire est de bonne foi, est pendant (art. 271a al. 1 let. d CO) ou s'il a été tranché dans les trois ans (art. 271a al. 1 let. e CO), le locataire ne peut pas faire annuler le congé donné pour cause de demeure (<ref-law>). ll n'y a donc rien d'abusif à ce que le bailleur résilie le bail d'un locataire qui ne paie plus son loyer même s'il a - ou a eu - un litige avec le locataire. Ce n'est que dans des circonstances tout à fait exceptionnelles que l'on peut dès lors concevoir qu'un congé donné conformément à l'<ref-law> puisse être annulable en vertu de l'<ref-law>.
4.2 Les recourants soutiennent que l'arrêt entrepris est contraire au principe de la bonne foi. De leur point de vue, la résiliation du bail est intervenue dans des conditions qui sont constitutives d'un abus de droit.
4.2.1 Les recourants invoquent une première procédure de résiliation et d'expulsion, au terme de laquelle ils ont obtenu gain de cause. Ils font également état d'une procédure pendante devant la Commission de conciliation, qui tend à une réduction de loyer.
Ces éléments sont sans pertinence, puisque tant la protection légale de trois ans consécutive à la fin d'une procédure judiciaire (art. 271a al. 1 let. e CO) que celle prévue en cas de procédure de conciliation pendante (art. 271a al. 1 let. d CO) sont, par la loi, expressément exclues si le locataire est en demeure (<ref-law>). Les procédures invoquées ne sauraient dès lors justifier l'annulation du congé.
4.2.2 Les recourants prétendent aussi que le délai de paiement a été fixé au 1er mars 2007, alors que le loyer du mois de mars était payable, conformément à la pratique adoptée par le représentant de l'intimé, jusqu'au 10 du mois en cours. Ils reviennent par ailleurs sur la somme de 418 fr. réclamée à titre de « frais d'intervention selon l'<ref-law> ».
L'argumentation se rapportant à l'exigibilité du loyer au 10 de chaque mois tombe à faux, dans la mesure où elle s'écarte des constatations de l'autorité cantonale, qui a retenu que le bail prévoyait le paiement du loyer par mois d'avance. Les recourants ne contestent du reste pas que les conditions d'application de l'<ref-law> - notamment sous l'angle de l'exigibilité des loyers - sont, en l'espèce, réalisées. S'agissant des 418 fr. qui ont fait l'objet de la mise en demeure en sus des loyers de février et mars 2007, ils ne représentent pas une somme largement supérieure à celle en souffrance. Dès lors, il n'est pas contraire au droit fédéral d'avoir jugé que la mention de ce montant ne justifiait pas l'annulation de la résiliation.
4.2.3 Les recourants soulignent encore que la mise en demeure a été adressée aux recourants, alors que le représentant de l'intimé connaissait, de façon complète, l'état de santé très gravement altéré de A.X._ et les problèmes concrets qu'impliquait cet état de santé pour B.X._, notamment quant à l'exécution des paiements par le biais du système « e-banking ».
On ne voit pas en quoi l'état de santé très gravement altéré d'un des deux locataires, solidairement débiteurs des loyers mensuels dus, aurait eu une influence sur l'exécution des paiements des loyers, dès lors qu'il existe d'autres moyens de paiement que le débit d'un compte bancaire au moyen du système « e-banking ». Ainsi, l'état de santé de A.X._, quel qu'il soit, ne pouvait empêcher son épouse de se rendre physiquement au guichet de son établissement bancaire ou de la poste afin d'effectuer les paiements litigieux. L'argument avancé par les recourants est donc sans pertinence.
4.2.4 Les recourants font également état de l'octroi d'un délai de paiement. Dès lors que les magistrats cantonaux ont relevé à juste titre qu'aucune obtention tacite de prolongation du délai n'a été établie pour l'appartement (cf. supra, consid. 3.2), l'argument est infondé.
4.2.5 Enfin, les recourants affirment que la résiliation du bail a été adressée le 17 avril 2007, soit le lendemain du jour où le loyer du mois de février 2007 a été payé. Non seulement la cour cantonale n'a pas retenu que le loyer de février a été acquitté le 16 avril 2007 - sans qu'un complètement des faits ne soit requis sur ce point, conformément à l'<ref-law> -, mais en sus les recourants ne mentionnent pas avoir allégué ce fait. Au demeurant, comme relevé pertinemment par l'intimé, à supposer que le paiement soit réellement intervenu à la date indiquée, la résiliation ne saurait être taxée d'abusive, puisque le délai de 30 jours fixé le 1er mars 2007 était échu depuis plus de deux semaines au moment du versement.
Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en ayant considéré que le congé signifié n'était pas contraire aux règles de la bonne foi.
5. Au terme de cet examen, le recours doit être rejeté dans la mesure où il est recevable. Par conséquent, l'effet suspensif accordé à celui-ci, de même qu'au recours constitutionnel - déclaré irrecevable -, devient caduc dès ce jour.
6. Compte tenu de l'issue du litige, les recourants, qui succombent, doivent acquitter l'émolument judiciaire et les dépens à allouer à l'intimé (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel est irrecevable.
2. Le recours en matière civile est rejeté, dans la mesure où il est rece-vable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4. Une indemnité de 2'500 fr., à payer à l'intimé à titre de dépens, est mise à la charge des recourants, solidairement entre eux.
5. Le présent arrêt est communiqué en copie à A.X._, B.X._, au mandataire de Y._ et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 février 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Crittin