Faits:
A. Par contrat de bail du 22 juillet 2007, X._ a cédé à Y._ et Z._ l'usage d'une villa avec cave et jardin, moyennant un loyer mensuel de 1'600 fr., auquel s'ajoutait un montant de 100 fr., les frais d'eau chaude et de chauffage étant compris. Le loyer devait être payé par mois et d'avance. Conclu initialement pour la période du 1er septembre 2007 au 1er septembre 2008, le contrat se renouvelait ensuite tacitement d'année en année, sauf congé donné trois mois avant l'échéance.
Le loyer initial n'a pas été notifié aux locataires sur formule officielle.
Y._ et Z._ ont payé le loyer du mois d'octobre 2007 avec deux jours de retard, celui de janvier 2008 avec trois jours de retard, celui de février 2008 avec huit jours de retard, celui d'avril 2008 avec un jour de retard, celui de mai 2008 avec six jours de retard, celui d'octobre 2009 avec vingt-deux jours de retard, celui de novembre 2009 avec trente-trois jours de retard et celui de décembre 2009 avec vingt-deux jours de retard.
Par formules officielles du 19 janvier 2010, X._ a résilié le contrat pour le 1er septembre 2010. Dans sa lettre d'accompagnement, il indiquait que sa décision était principalement motivée par le non-respect, à plusieurs reprises, des échéances pour le paiement du loyer.
B. Le 15 février 2010, Y._ et Z._ ont saisi la Commission de conciliation en matière de baux à loyer du district de A._, sollicitant l'annulation de la résiliation et subsidiairement une prolongation du bail pour une durée de quatre ans.
Par décision du 16 mars 2010, la Commission de conciliation a constaté la validité de la résiliation et a accordé une unique prolongation du bail au 28 février 2011.
Saisi par les locataires, le Tribunal des baux du canton de Vaud, par jugement du 5 octobre 2010, a annulé la résiliation du bail. Après avoir constaté que les locataires n'avaient appris qu'au cours de la présente procédure le vice de forme résultant de l'absence de notification du loyer initial sur formule officielle, les juges de première instance ont considéré que le loyer n'avait pas été valablement fixé et que les locataires ne pouvaient pas être en demeure dans son paiement, de sorte que le motif invoqué à l'appui du congé ordinaire n'était pas réalisé.
Statuant sur recours du bailleur par arrêt du 12 janvier 2011, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement attaqué.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant l'arbitraire dans l'établissement des faits et dans l'application de la loi, une violation des <ref-law>, 270 CO et 2 CC, ainsi qu'une violation du droit d'être entendu et de l'<ref-law>, il conclut à la réforme de l'arrêt attaqué en ce sens que la résiliation de bail est valable, subsidiairement au renvoi de la cause à l'autorité cantonale après annulation de l'arrêt déféré.
Les intimés proposent le rejet du recours.
Les parties ont répliqué et dupliqué, sans apporter d'élément nouveau.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions tendant à faire constater la validité du congé et qui a donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance statuant sur recours (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (<ref-law>; <ref-ruling> consid. 1.1 p. 197), le recours est en principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé par violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique en principe d'office le droit désigné par les art. 95 et 96 LTF (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106. al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à l'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>). Si le Tribunal fédéral admet le recours, il peut statuer lui-même sur le fond ou renvoyer l'affaire à l'autorité cantonale pour nouvelle décision (<ref-law>).
2. 2.1 Il est constant que les parties ont conclu un contrat de bail à loyer selon la définition de l'<ref-law>.
En raison de la clause de tacite reconduction, on se trouve en présence d'un bail de durée indéterminée (<ref-ruling> consid. 2b p. 166 s.).
Il ressort des constatations cantonales que le bailleur a résilié le bail, sur formules officielles, en respectant le délai et le terme convenus, étant observé que le délai contractuel est conforme au minimum légal (cf. art. 266a al. 1, 266c, 266l CO). Il n'est pas douteux que ce congé respecte les exigences légales.
Il faut souligner qu'il s'agit d'un congé ordinaire, et non pas d'une résiliation pour demeure du locataire au sens de l'<ref-law> (qui impliquerait la fixation d'un délai de grâce) ou d'un congé extraordinaire pour violation des devoirs contractuels selon l'<ref-law> (qui supposerait normalement un avertissement préalable). Il n'y a donc pas lieu de se référer à la jurisprudence relative aux art. 257d ou 257f CO.
En principe, chacune des parties est libre de résilier le contrat de bail pour son échéance en respectant le délai de congé.
Une résiliation ordinaire valable à la forme n'est annulable qu'aux conditions des art. 271 et 271a CO. Il n'est pas contesté en l'espèce que l'on ne se trouve dans aucune des hypothèses visées par l'<ref-law>. La question litigieuse est donc exclusivement de savoir si le congé contrevient aux règles de la bonne foi au sens de l'<ref-law>.
2.2 Déterminer les motifs réels d'une résiliation est une question de fait (<ref-ruling> consid. 2.3 p. 515, 552 consid. 4 p. 559). La cour cantonale a constaté - d'une manière qui lie le Tribunal fédéral (<ref-law>) - que le congé avait été donné principalement parce que les locataires ne payaient pas ponctuellement leur loyer.
Le paiement du loyer est l'obligation principale du locataire (cf. art. 253 et titre marginal de l'<ref-law>). La date du paiement n'est pas laissée à la discrétion du locataire. Selon l'<ref-law>, le locataire doit payer le loyer et, le cas échéant, les frais accessoires, à la fin de chaque mois, mais au plus tard à l'expiration du bail, sauf convention ou usage local contraires. Il a été constaté en l'espèce que les parties sont convenues, par référence à l'usage, d'un paiement par mois et d'avance. La date à laquelle le loyer devait être versé était donc clairement déterminée.
La cour cantonale a constaté en fait que les locataires avaient fréquemment payé leur loyer avec plusieurs jours de retard. Il s'agit d'autant de violations de leurs obligations contractuelles.
Le bailleur explique dans ses observations que ces retards le dérangent parce qu'il doit payer des intérêts hypothécaires. Il faut en tout cas constater que ces retards sont nombreux et qu'ils portent parfois sur une durée assez longue.
Dans un contrat de durée (comme le contrat de bail), les parties se sont liées jusqu'à l'échéance, mais chacune d'elle peut en principe décider librement de ne pas prolonger le contrat au-delà de cette date. Il n'est pas nécessaire, pour une résiliation ordinaire, d'invoquer un motif particulièrement grave. Il suffit, pour ne pas contrevenir aux règles de la bonne foi, que le congé repose sur un intérêt légitime. Il est compréhensible que le bailleur souhaite louer son bien à un locataire dont il peut espérer qu'il s'acquittera ponctuellement de ses obligations pécuniaires.
Le congé litigieux en l'espèce ne peut pas être considéré comme contraire aux règles de la bonne foi (<ref-law>) en raison du motif pour lequel il a été donné.
2.3 Les locataires ont contre-attaqué en faisant valoir que le loyer initial (le contrat a été conclu le 22 juillet 2007) ne leur avait pas été notifié sur une formule officielle, comme l'exige le droit cantonal en faisant usage de la faculté offerte par l'<ref-law>.
Pour saisir la portée de cet argument, il faut rappeler quelques principes essentiels concernant la fixation du loyer.
Les parties peuvent en principe convenir librement du montant du loyer (art. 1 et 253 CO). Le droit privé ne prévoit pas un contrôle d'office par une autorité des montants convenus. En revanche, pour protéger les locataires contre les loyers abusifs, il est prévu que le locataire pourra saisir la commission de conciliation puis le juge pour contester le loyer initial ou une augmentation du loyer, ou pour demander une baisse de loyer, aux conditions fixées par les art. 269 à 270e CO.
ll appartient cependant toujours au locataire de prendre l'initiative et l'autorité n'intervient pas d'office (art. 270 al. 1, 270a al. 1 et 270b al. 1). Pour assurer la clarté de la situation juridique, un délai strict est imposé au locataire pour agir, faute de quoi il est réputé avoir accepté le loyer proposé et il est déchu du droit de le contester (art. 270 al. 1 et 270b al. 1 CO).
La formule officielle dont il est question ici (art. 269d al. 1 et 270 al. 2 CO) a pour but d'informer le locataire de sa possibilité de saisir l'autorité de conciliation pour contester le montant du loyer, en lui fournissant toutes les indications utiles (sur le contenu de la formule : <ref-law>).
Lorsque - comme en l'espèce - la formule n'a pas été employée pour un loyer initial alors qu'elle était obligatoire, ce vice n'entraîne pas la nullité du contrat de bail en tant que tel, mais influe seulement sur le montant fixé (<ref-ruling> consid. 2a p. 64; <ref-ruling> consid. 5d p. 349).
L'absence de notification sur formule officielle n'affecte donc ni la possibilité pour chacune des parties de résilier le contrat pour l'échéance, ni la convention des parties fixant la date à laquelle le loyer doit être versé. Le vice n'a de conséquence que pour le montant du loyer convenu.
La formule officielle ayant un but d'information, le locataire ne doit pas être désavantagé du fait que cette dernière ne lui a pas été donnée; cependant, dès le moment où il a reçu les informations nécessaires, on doit en principe admettre - conformément au mécanisme général en matière de contestation des loyers - qu'il doit agir sans retard (<ref-ruling> consid. 2c p. 58 s.).
En l'espèce, les locataires ont eu connaissance du vice par leur avocat au cours de la présente procédure. Ils n'ont cependant pas saisi la commission de conciliation d'une contestation du loyer initial. A aucun moment dans le présent procès, ils n'ont contesté le montant du loyer et soutenu qu'il serait abusif. Or, il faut rappeler qu'il appartient au locataire d'apprécier s'il considère le loyer comme abusif et de décider s'il entend ou non saisir l'autorité de conciliation. En l'espèce, après avoir été informés par leur avocat, les locataires n'ont émis aucune contestation sur le montant du loyer tout au cours de la procédure. On se trouve donc dans une situation identique à celle où les locataires, ayant reçu la formule officielle, n'auraient pas saisi la commission de conciliation dans les trente jours. Faute de toute protestation dans un délai raisonnable, les locataires ont montré qu'ils considéraient le loyer convenu comme non abusif et renonçaient à le contester devant l'autorité. Ils ont ainsi validé le montant convenu et guéri les effets du vice de forme.
L'argument tiré de l'absence de notification du loyer initial sur formule officielle est absolument sans rapport avec le comportement des locataires qui a motivé la résiliation du bail, à savoir les retards dans le paiement du loyer. On ne voit pas comment ces retards pourraient être causés par l'absence de la formule officielle, alors que les locataires, même aujourd'hui, n'émettent aucune critique à l'égard du loyer convenu. L'argument soulevé n'affecte pas l'existence même du contrat de bail, ni la possibilité pour chacune des parties de le résilier à l'échéance, et encore moins la date convenue pour le versement du loyer. Invoquer l'absence de notification sur formule officielle pour s'opposer à une résiliation ordinaire du bail découlant du fait que les locataires n'ont pas rempli ponctuellement leurs obligations pécuniaires revient à utiliser une institution juridique (l'exigence de la formule officielle) d'une manière contraire à son but, dès lors que les locataires ne contestent en rien le montant du loyer.
Il faut donc constater que cette argumentation relève de l'abus de droit (<ref-law>), puisque les locataires utilisent une institution juridique contrairement à sa finalité (cf. <ref-ruling> consid. 3.3.1 p. 169).
Partant, il faut constater la validité du congé, ce qui entraîne l'admission du recours et l'annulation de l'arrêt attaqué.
Les locataires avaient formé subsidiairement une demande en prolongation du bail (cf. <ref-law>, en particulier le nouvel <ref-law>). En conséquence, la cause doit être renvoyée à la cour cantonale pour qu'elle statue sur cette question en complétant l'état de fait dans la mesure nécessaire.
2.4 Vu la décision qui précède, il n'est pas nécessaire d'examiner si la cour cantonale a établi les faits de manière arbitraire en ne retenant pas que le congé était également donné parce que les locataires cultivaient du cannabis dans les locaux loués, fait qui aurait été avoué. Il n'y a pas davantage à se demander s'il y a eu violation du droit d'être entendu (art. 29 al. 2 Cst.) ou violation de l'<ref-law> au préjudice du recourant. Comme la question litigieuse relevait entièrement du droit fédéral, il était inutile que le recourant parle d'arbitraire dans l'application de la loi, puisque le Tribunal fédéral revoit librement l'application du droit fédéral, sans que cet examen ne soit limité à l'arbitraire (<ref-law>).
3. Les frais judiciaires et les dépens sont mis solidairement à la charge des intimés qui succombent (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
2. Le congé donné par le recourant aux intimés par formules officielles du 19 janvier 2010 pour le 1er septembre 2010 est valable.
La cause est renvoyée à la cour cantonale pour statuer sur une éventuelle prolongation du bail, ainsi que sur les frais et dépens pour la procédure cantonale.
3. Les frais judiciaires, arrêtés à 3'500 fr., sont mis solidairement à la charge des intimés.
4. Les intimés verseront solidairement au recourant une indemnité de 4'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 novembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet