Faits:
A. Le 4 février 2002, Z._ (ci-après: le bailleur) a conclu avec X._ et Y._ (ci-après: les locataires) un contrat de bail portant sur des locaux commerciaux situés au rez-de-chaussée (magasin avec vitrine) et au sous-sol d'un immeuble à Lausanne. Le loyer, payable d'avance, a été fixé à 1'350 fr. par mois, soit 1'250 fr. de loyer net et 100 fr. d'acompte de chauffage, eau chaude et frais accessoires. Il est également prévu que les locataires rembourseront le coût de l'assurance bris de glace. L'acompte mensuel pour le chauffage a été augmenté à 140 fr. dans un premier temps, puis à 180 fr. dès le 1er avril 2009.
Par courrier recommandé du 2 avril 2009, reçu le lendemain par les locataires, le bailleur, représenté par un agent d'affaires breveté, a sommé ces derniers de s'acquitter de la somme de 3'966 fr.15 établie selon le décompte suivant:
"Solde location février 2009
Fr. 120.--
Location mars 2009
Fr. 1'390.--
Location avril 2009, rapport soit également à la notification de nouvelles prétentions du 12.12.2008 (augmentation de l'acompte de chauffage de Fr. 140.- à Fr. 180.-)
Fr. 1'430.--
Total
Fr. 2'940.--
Compte annuel de chauffage et eau chaude 2007/2008, selon notification du 20.11.2008
Fr. 860.15
Assurance bris de glace 2008
Fr. 166.--
TOTAL
Fr. 3'966.15"
Ce courrier indiquait également qu'à défaut de paiement dans le délai comminatoire de trente jours de l'art. 257d al. 1 CO, le bail serait résilié. Par ailleurs, le bailleur a avisé les locataires qu'il requérait l'exercice d'une prise d'inventaire pour sauvegarde des droits de rétention, au sens de l'art. 268 CO.
Le 28 avril 2009, les locataires ont versé, au moyen d'un bulletin de versement en faveur de l'Office des poursuites de Lausanne-Est, le montant de 2'461 fr. 30 qui couvre le solde du loyer pour le mois de février 2009 (120 fr.), le loyer du mois de mars (1'390 fr.) et le montant du décompte de chauffage et eau chaude 2007/2008 (860 fr. 15), ainsi que les frais de poursuite. Ce montant a été crédité, via l'office des poursuites, sur le compte du représentant du bailleur le 6 mai 2009.
Les locataires ont également versé, par bulletin de versement en faveur de l'agence immobilière du bailleur, le loyer du mois d'avril 2009 (1'430 fr.), le 4 mai 2009. Ce montant a été reçu par l'agence le 6 mai 2009.
Par formules officielles du 9 mai 2009, adressées sous plis séparés à chacun des locataires, le représentant du bailleur a résilié le bail avec effet au 30 juin 2009.
B. Le 10 juin 2009, le conseil des locataires a contesté ces congés devant la Commission de conciliation en matière de baux à loyer du district de Lausanne et requis l'annulation du congé. Il ressort des pièces produites par les locataires que les parties s'étaient déjà opposées par le passé quant au règlement de diverses prétentions, en particulier s'agissant de l'assurance bris de glace. Le bailleur avait également mis en demeure, le 19 janvier 2007, les locataires de s'acquitter du paiement des loyers arriérés des mois de novembre 2006 à janvier 2007, ainsi que du décompte de chauffage et eau chaude 2005/2006, dans le délai comminatoire de trente jours de l'art. 257d al. 1 CO, sous peine de résiliation du bail.
Le 9 juillet 2009, le bailleur a requis du Juge de paix du district de Lausanne l'expulsion des locataires des locaux commerciaux concernés. Le 13 juillet 2009, la Commission de conciliation s'est dessaisie en faveur du Juge de paix.
Par ordonnance du 1er septembre 2009, le Juge de paix a constaté que le montant réclamé par le bailleur n'avait pas été acquitté en entier dans le délai imparti. Il a considéré que le congé n'était pas abusif et que les conditions de l'expulsion étaient réalisées.
Par arrêt du 18 novembre 2009, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours interjeté par les locataires et renvoyé la cause au Juge de paix pour qu'il fixe à nouveau le délai de libération des locaux occupés par ces derniers. L'autorité précédente a considéré que le courrier du 2 avril 2009 présentait clairement les arriérés réclamés aux locataires et que la mention relative à la réquisition de prise d'inventaire au sens de l'art. 268 CO ne rendait pas incompréhensible l'avis comminatoire. Elle a jugé également que les locataires ne s'étaient pas toujours acquittés à temps du loyer dans le passé, le bailleur leur ayant déjà imparti des délais de paiement pour divers arriérés, notamment par un avis comminatoire pour arriérés de loyers le 19 janvier 2007. La Chambre des recours en a conclu que le congé n'était pas abusif.
C. Les locataires exercent un recours en matière civile au Tribunal fédéral contre l'arrêt du 18 novembre 2009. Ils concluent à l'admission du recours, à l'annulation du congé et à ce qu'il soit dit que l'expulsion ne peut être ordonnée, l'affaire devant être renvoyée à l'autorité précédente pour nouvelle décision. Ils reprochent à la cour cantonale d'avoir violé le droit fédéral, spécialement d'avoir mal appliqué l'art. 257d CO, d'avoir confirmé un congé qui contrevenait aux règles de la bonne foi, ainsi que d'avoir établi les faits de façon manifestement inexacte.
L'intimé conclut au rejet du recours et à la confirmation de l'arrêt entrepris, sous suite de dépens.
Par ordonnance du 3 février 2010, la Présidente de la Ire Cour de droit civil a admis la requête d'effet suspensif présentée par les locataires.

Considérant en droit:
1. 1.1 En cas de contestation d'un congé, la valeur litigieuse est égale au loyer de la période minimum pendant laquelle le contrat subsiste si la résiliation n'est pas valable, période qui s'étend jusqu'à la date pour laquelle un nouveau congé peut être donné. En principe, la durée déterminante pour le calcul de la valeur litigieuse ne saurait être inférieure à la période de trois ans pendant laquelle l'art. 271a al. 1 let. e CO consacre l'annulabilité d'une résiliation (arrêt 4C.155/2000 du 30 août 2000, publié in SJ 2001 I p. 17, consid. 1a; <ref-ruling> consid. 1 p. 149; <ref-ruling> consid. 1 p. 385 s.). Comme le loyer s'élevait mensuellement à 1'430 fr., la limite de 15'000 fr. fixée par l'art. 74 al. 1 let. a LTF est sans conteste atteinte.
Interjeté par les parties qui ont succombé dans leurs conclusions en annulation du congé (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF; cf. arrêt 4A_250/2008 du 18 juin 2008 consid. 1.1) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.1 p. 105).
Il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.3 p. 63) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante ne peut critiquer les constatations de fait qu'en expliquant de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 p. 287). En conséquence, il n'est pas possible de prendre en considération l'exposé des faits figurant aux pages 3 à 5 du recours.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Les recourants considèrent que le courrier contenant l'avis comminatoire du 2 avril 2009 ne respectait pas l'exigence de clarté prévu à l'art. 257d CO. Ils reviennent sur le décompte intégré dans ce courrier et semblent en déduire qu'il ne permettait pas d'identifier la créance que le bailleur entendait réclamer. Les locataires n'expliquent toutefois pas en quoi le décompte ne serait pas clair. Il apparaît au contraire que celui-ci a été détaillé de façon précise. Il contient un total intermédiaire correspondant aux loyers non payés (2'940 fr.) ; le total final (3'966 fr. 15) comprend le total intermédiaire, plus les frais dont les locataires doivent encore s'acquitter (chauffage et eau, assurance bris de glace). Il ne fait aucun doute que le total final, mis en évidence en caractère gras et souligné à la fin du décompte, désigne sans ambiguïté le montant réclamé par le bailleur.
Les locataires ajoutent que, pour le justiciable n'ayant aucune pratique ni connaissance en la matière, la mention selon laquelle le propriétaire allait requérir l'exercice d'une prise d'inventaire pour sauvegarde des droits de rétention (au sens de l'art. 268 CO) était totalement incompréhensible. En l'occurrence, même à admettre que les locataires n'ont pas saisi le sens exact de cette mention, il n'en demeure pas moins que l'avis comminatoire indiquait de façon claire que le montant de 3'966 fr.15 devait être payé dans les trente jours et qu'à défaut de paiement dans ce délai le bailleur résilierait le bail. Les locataires ayant eu connaissance du montant réclamé, du délai imparti pour le paiement, ainsi que de la menace de résiliation, ils ne peuvent aujourd'hui se "retrancher" derrière une mention (relative au droit de rétention du bailleur) - au sujet de laquelle ils auraient d'ailleurs pu se renseigner facilement auprès d'une tierce personne, le cas échéant d'un homme de loi - qui ne remet nullement en question ni ne relativise le contenu de l'avis comminatoire, pour prétendre que celui-ci ne respectait pas les exigences de l'art. 257d CO.
Le grief est infondé.
Le grief est infondé.
2.2 2.2.1 Les locataires expliquent qu'ils ont payé, le 28 avril 2009, une partie importante (soit 2461 fr. 30) du montant total dû au bailleur et qu'on ne saurait raisonnablement leur reprocher d'avoir versé cette somme à l'office des poursuites (ce qui a eu pour conséquence que le montant n'a été crédité sur le compte du représentant du bailleur qu'après l'échéance du délai comminatoire). S'agissant du solde payé en retard (soit le 4 mai 2009), les locataires considèrent que les frais relatifs à l'assurance bris de glace 2008 ne pouvaient faire l'objet de l'avis comminatoire, le contrat de bail ne contenant aucun montant forfaitaire y faisant référence. Ils sont ainsi d'avis que seule reste litigieuse la question du paiement (tardif) du loyer en retard, soit la somme de 1'430 fr. correspondant au mois d'avril 2009. Ils estiment abusif le congé donné en raison de cet unique loyer payé seulement un jour après l'échéance du délai comminatoire, étant donné qu'à une exception près (ayant conduit à l'avis comminatoire du 19 janvier 2007), ils se sont toujours acquittés à temps de leur loyer. Les locataires insistent sur le fait qu'ils n'ont commis qu'un seul "écart" dans le passé et que c'est en établissant les faits de façon manifestement inexacte (c'est-à-dire en faisant preuve d'arbitraire dans l'établissement des faits et l'appréciation des preuves) que la Chambre des recours a retenu, contrairement à ce que montrent diverses pièces du dossier, que le bailleur avait déjà imparti plusieurs délais de paiement pour divers arriérés.
En résumé, les recourants admettent avoir payé le loyer d'avril 2009 avec un jour de retard mais sont d'avis que le congé doit être annulé, le seul "écart" commis dans le passé pour le paiement du loyer ne permettant pas de justifier la résiliation eu égard aux règles de la bonne foi.
2.2.2 Selon la jurisprudence, l'art. 271 al. 1 CO s'applique également lorsque la résiliation du bail a pour cause la demeure du locataire au sens de l'art. 257d CO. Le droit du bailleur de résilier le bail s'oppose alors à celui du locataire d'être protégé contre une résiliation abusive. Le juge ne peut annuler le congé litigieux que si celui-ci est inadmissible au regard de la jurisprudence relative à l'abus de droit ; il faut toutefois des circonstances particulières pour que le congé soit annulé (<ref-ruling> consid. 4a p. 33). Tel sera le cas, par exemple, lorsque le bailleur, lors de la fixation du délai comminatoire, réclame au locataire une somme largement supérieure à celle en souffrance, sans être certain du montant effectivement dû (<ref-ruling> consid. 4b p. 33 s.). Le congé sera également tenu pour contraire aux règles de la bonne foi si le montant impayé est insignifiant (<ref-ruling> consid. 4b p. 33), si l'arriéré a été réglé très peu de temps après l'expiration du délai alors que le locataire s'était jusqu'ici toujours acquitté à temps du loyer (arrêt 4C.430/2004 du 8 février 2005, publié in SJ 2005 I p. 310, consid. 3.1; arrêt 4C.35/2004 du 27 avril 2004, publié in SJ 2004 I p. 424, consid. 3.1; arrêt 4C.65/2003 du 23 septembre 2003 consid. 4.2.1; David Lachat, Le bail à loyer, 2008, n. 2.3.6 p. 672; Pierre Wessner, L'obligation du locataire de payer le loyer et les frais accessoires, in 9e Séminaire sur le droit du bail 1996, p. 24, et les références ; cf. Message du Conseil fédéral du 27 mars 1985 concernant la révision du bail à loyer, FF 1985 I 1439 ch. 421.21).
2.2.3 En l'espèce, si on peut admettre que l'arriéré a été réglé très peu de temps après l'expiration du délai comminatoire (un jour), il est indéniable que les locataires ne se sont pas toujours acquittés à temps du loyer dans le passé. Les recourants admettent d'ailleurs que le bailleur a en effet déjà dû leur notifier un avis comminatoire le 19 janvier 2007. Ils cherchent en vain à minimiser l'"écart" dans le paiement du loyer. Cet "écart" est loin d'être insignifiant vu que, selon les constatations cantonales (non contestées par les recourants), il portait sur trois mois de loyers (novembre 2006 à janvier 2007), ainsi que sur le décompte chauffage et d'eau chaude 2005/2006.
Il est encore précisé, pour faire écho à la jurisprudence rappelée ci-dessus, que le montant total réclamé aux locataires (soit 3'966 fr. 15), clairement dû, n'était pas incertain et que le montant impayé à la fin du délai (1'430 fr., soit plus du tiers du montant total objet de l'avis comminatoire) n'était pas insignifiant. Le bailleur n'a donc pas commis d'abus de droit en résiliant le bail à loyer commercial le 9 mai 2009.
Le grief de violation de l'art. 257d CO, en rapport avec celui de la transgression de l'art. 271 al. 1 CO, est dès lors infondé.
Il n'est pas nécessaire d'analyser, à la lumière de l'art. 257d CO, les autres arguments présentés par les recourants, ceux-ci se révélant sans pertinence. Il n'est en particulier pas utile d'examiner si c'est à juste titre que les locataires ont effectué leur premier paiement en faveur de l'office des poursuites, ce qui a eu pour conséquence que le versement est parvenu au bailleur après l'échéance du délai comminatoire.
Enfin, l'analyse juridique qui précède a été entreprise en considérant que, par le passé, le bailleur n'avait imparti qu'un seul délai de paiement aux locataires (ce que correspond à la version des locataires). Il n'est donc pas nécessaire d'examiner si la Chambre des recours a sombré dans l'arbitraire en retenant que le bailleur avait déjà dû fixer plusieurs délais de paiement aux recourants, le moyen invoqué n'étant pas susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
3. Le recours doit dès lors être rejeté.
Les frais judiciaires sont mis à la charge des recourants, qui succombent (art. 66 al. 1 LTF). Ces derniers n'ont pas à verser de dépens (cf. art. 68 LTF) à l'intimé, celui-ci n'ayant pas été représenté par un avocat (art. 40 LTF; <ref-ruling> consid. 4 p. 446) et n'ayant pas établi avoir assumé des frais particuliers pour la défense de ses intérêts (cf. <ref-ruling> consid. 5b p. 519 s.).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 mars 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget