Faits : A. Par contrat du 5 mai 2008, A._ et B._ ont remis à bail à C._ un appartement de trois pièces au 1er étage, avec cave (et une place de parc extérieure), dans l'immeuble sis route xxx à X._ (VD), immeuble dont ils sont copropriétaires; le bail, conclu à partir du 1er avril 2008 pour une durée d'un an, est renouvelable d'année en année, sauf résiliation, et prévoit le versement d'un loyer mensuel net de 1'350 fr., plus un acompte mensuel de charges de 150 fr., soit de 1'500 fr. au total. Depuis le mois d'août 2012 au moins, l'appartement est également occupé par l'amie de C._, D._. B. B.a. Le loyer de novembre 2012 n'a pas été payé à temps par le locataire. Par lettre du 27 novembre 2012, le locataire et son amie ont demandé aux bailleurs de leur transmettre une copie du contrat de bail, exposant que le Centre social intercommunal, qui était censé les aider en attendant la perception de leurs indemnités de chômage, avait besoin de cette pièce pour débloquer l'argent nécessaire au paiement du loyer. Le loyer du mois de décembre 2012 n'a pas non plus été payé à temps par le locataire. B.b. Le 3 décembre 2012, les bailleurs ont mis en demeure le locataire de s'acquitter dans les 30 jours du montant de 3'000 fr. correspondant aux loyers et charges des mois de novembre et décembre 2012; la sommation indiquait qu'à défaut de paiement dans le délai imparti, le bail serait résilié conformément à l'art. 257d CO. Le 13 décembre 2012, la Direction des affaires sociales et familiales de la Commune de Y._ (ci-après: le service social) a versé aux bailleurs trois fois le montant de 750 fr. pour le compte de D._, soit 2'250 fr. au total, avec l'indication qu'il s'agissait du versement des loyers d'août, septembre et octobre 2012 de celle-ci. Par courrier adressé au service social le 17 décembre 2012, les bailleurs ont toutefois déclaré refuser ce paiement, au motif que D._ n'était pas titulaire du bail; ils ont restitué ce montant de 2'250 fr. par virement bancaire du 15 janvier 2013. Le 18 décembre 2012, le service social a versé aux bailleurs le montant de 1'500 fr. pour le loyer de novembre 2012 de C._, puis, le même jour, le montant de 750 fr. correspondant à la part de loyer de celui-ci pour le mois de décembre 2012, soit 2'250 fr. au total. Invoquant l'art. 257d CO, les bailleurs ont résilié une première fois le bail le 16 janvier 2013, pour le 31 mars 2013; ils ont exposé que sur le montant de loyers de 3'000 fr. à payer, un reliquat de 1'500 fr. n'avait pas été réglé. Les locataires ont contesté le congé, estimant avoir même payé 750 fr. en trop. Cette résiliation a été déclarée nulle par la Commission de conciliation en matière de baux à loyer compétente. Le 28 mai 2013, les bailleurs ont à nouveau résilié le bail, pour le 31 juillet 2013, sur la base de l'art. 257d CO, en se prévalant du même motif, à savoir que les loyers de novembre et décembre 2012 - d'un total de 3'000 fr. - n'avaient pas été entièrement payés, que le service social n'avait payé que 2'250 fr. le 18 décembre 2012, de sorte que 750 fr. sur le loyer de décembre 2012 n'avait pas été réglé dans le délai imparti par la sommation du 3 décembre 2012. Le 17 juin 2013, le locataire a requis de la Commission de conciliation l'annulation du congé. B.c. Le 14 août 2013, les bailleurs ont requis du Juge de paix du district de la Riviera-Pays-d'Enhaut l'expulsion de leur locataire, invoquant la protection des cas clairs de l'art. 257 CPC. Vu cette requête d'expulsion, la procédure d'annulation du congé déposée par le locataire le 17 juin 2013 a été suspendue. Par ordonnance du 10 octobre 2013, la Juge de paix a ordonné au locataire de quitter les locaux loués d'ici au jeudi 7 novembre 2013 à midi et, s'il ne devait pas le faire volontairement, a chargé l'huissier de paix de procéder, sous la responsabilité du Juge de paix, à l'exécution forcée sur requête des bailleurs, avec au besoin l'ouverture forcée des locaux, et a ordonné aux agents de la force publique de concourir à l'exécution forcée s'ils en étaient requis par l'huissier de paix. Statuant par arrêt rendu le 10 décembre 2013, la Cour d'appel civile du Tribunal cantonal vaudois a admis l'appel du locataire et, statuant à nouveau, déclaré irrecevable la requête d'expulsion, pour les motifs qui seront exposés ci-dessous. C. Contre cet arrêt, les bailleurs interjettent un recours en matière civile au Tribunal fédéral. Les recourants concluent à l'admission de leur recours (I), à la réforme de l'arrêt critiqué en ce sens que l'appel du locataire est rejeté (II), à l'admission de leur requête d'expulsion et à ce qu'ordre soit donné au locataire de quitter les locaux dans les 20 jours à compter de l'arrêt qui sera rendu (III), à défaut de départ volontaire, que l'huissier de paix soit chargé, sous la responsabilité du Juge de paix, de procéder à l'exécution forcée à leur requête, avec au besoin l'ouverture forcée des locaux (IV) et à ce que les agents de la force publique soient chargés de concourir à l'exécution forcée sur réquisition de l'huissier de paix (V). Ils invoquent la violation de l'art. 257 CPC, le cas étant, selon eux, clair. L'intimé propose le rejet du recours et sollicite l'octroi de l'assistance judiciaire.