Faits:
A. Par acte authentique du 13 septembre 2002, A._ a acheté pour le prix de 2'950'000 fr. un immeuble sis à Lausanne en dessous de la gare, d'une surface totale de 1'394 m2, dont l'estimation fiscale était de 3'400'000 fr. Il a financé cette acquisition par des emprunts à concurrence de 2'700'000 fr., dette qu'il a amortie de 145'000 fr. entre 2003 et 2007. Les charges financières lors de cette dernière année se sont élevées à 66'917 fr. 50. Quant aux charges d'exploitation, elles ont été en moyenne annuelle de 47'196 fr. 30 pour la période de 2002 à 2006; en 2007, elles se sont élevées à 47'708 fr. 95, le décompte faisant état de "travaux spéciaux" pour un montant de 26'841 fr.
Par contrat de bail à loyer du 2 novembre 2007 prenant effet le 1er décembre 2007, A._ (ci-après: le bailleur) a remis en location à B._ et C._ (ci-après: les locataires) un appartement de 4 pièces d'une surface de 109,5 m2 au 3ème étage de l'immeuble susmentionné. Le loyer mensuel convenu était de 2'050 fr., plus 150 fr. d'acompte pour frais accessoires.
Selon la formule officielle datée du 30 octobre 2007 accompagnant ce bail, le loyer mensuel net dû par le précédent locataire s'élevait à 1'689 fr. plus un acompte de 150 fr. La hausse de loyer d'environ 20 % était motivée de la manière suivante: "Adaptation du loyer aux loyers usuels de la localité ou du quartier (art. 269a litt. a du CO). En outre, l'appartement a fait l'objet de travaux pour Frs 30'000.00 environ." La formule officielle ne comportait aucun renvoi à un éventuel document annexe.
B. B.a Le 11 décembre 2007, les locataires ont contesté le loyer initial devant la Commission de conciliation en matière de baux à loyer du district de Lausanne. Le 29 avril 2008, cette autorité a constaté l'échec de la conciliation.
Les locataires ont saisi le Tribunal des baux par requête du 22 mai 2008, dans laquelle ils concluaient à ce que le loyer de 2'050 fr. soit déclaré abusif et réduit à un montant indéterminé, qu'ils ont ensuite fixé à 800 fr.; ils faisaient valoir que les deux motifs de fixation du loyer figurant sur la formule officielle ne pouvaient pas être invoqués simultanément et qu'il convenait de privilégier le calcul de rendement, compte tenu de la date d'acquisition de l'immeuble. Le bailleur a produit les pièces requises par le tribunal pour procéder à un tel calcul; il a aussi déposé les fiches de 11 appartements de comparaison.
Dans son jugement du 20 mai 2009, le Tribunal des baux a constaté la nullité partielle du bail quant au montant du loyer initial; procédant au calcul de rendement de l'appartement loué, il a fixé le loyer mensuel initial net à 850 fr. sur la base d'un intérêt hypothécaire de 3,25 %, d'un indice suisse des prix à la consommation (IPC) de 107,3 points (octobre 2007, base mai 2000) et de charges arrêtées au 31 décembre 2006. Alors que le bailleur avait préconisé de fonder le calcul de rendement sur la valeur fiscale et non sur le prix d'achat effectif de l'immeuble, qu'il disait avoir acquis à un prix d'ami, le tribunal a écarté cet argument en constatant que les conditions objectives et subjectives d'une donation mixte n'étaient pas établies. Il a par ailleurs considéré, en se référant à la jurisprudence fédérale, que le critère des loyers usuels n'entrait pas en considération dès lors que les loyers comparatifs produits étaient tous supérieurs au loyer issu du calcul de rendement et que ce dernier critère était déterminant.
B.b Portant ce jugement devant la Chambre des recours du Tribunal cantonal vaudois, le bailleur a conclu à sa réforme en ce sens que le loyer mensuel net est fixé à 2'050 fr. sur la base du taux d'intérêt et de l'IPC précités. Il a notamment reproché aux premiers juges de ne pas avoir tenu compte des autres critères de fixation du loyer, en particulier des loyers usuels, nonobstant le résultat "aberrant" auquel conduisait le calcul de rendement, qui se fondait sur un prix d'acquisition inférieur au prix du marché et ne tenait pas compte des frais d'acquisition de l'immeuble et des travaux de rénovation de l'appartement loué. Il a aussi fait grief au Tribunal des baux de ne pas avoir instruit d'office la question de l'importance de l'avantage consenti sur le prix d'acquisition. Le bailleur a notamment produit deux statistiques du Service du logement de la ville de Lausanne, pièces que la Chambre des recours a jugées recevables.
Les locataires ont admis la prise en compte supplémentaire des frais d'acquisition de l'immeuble à concurrence de 123'310 fr., soit 130'092 fr. après indexation, et ont conclu à ce que le loyer soit fixé à 880 fr.
Dans son arrêt du 3 novembre 2010, La Chambre des recours a en substance confirmé la nullité du contrat quant au montant du loyer, la prééminence du critère du rendement sur celui des loyers usuels et le bien-fondé du calcul de rendement en tant qu'il se fondait sur le prix d'achat effectif, en l'absence de preuve d'une donation mixte. Elle a exclu toute violation de la maxime inquisitoire atténuée (art. 274d al. 3 CO). Quant aux travaux de rénovation, elle a notamment relevé l'absence de preuve d'une plus-value et considéré qu'il s'agissait de travaux d'entretien représentant des charges à déduire du rendement; à cet égard, la cour cantonale observait que les charges pour 2007, dans la moyenne des années précédentes, englobaient 26'841 fr. de travaux spéciaux, dont elle pouvait admettre qu'ils visaient les frais de rénovation allégués, entrepris pour l'essentiel en 2007. La Chambre des recours a en revanche admis la prise en compte des frais d'acquisition dans la mesure reconnue par les locataires. En définitive, elle a partiellement admis le recours et fixé le loyer mensuel initial à 880 fr. net sur la base des mêmes paramètres que le Tribunal des baux.
C. Le bailleur (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. Il conclut principalement à ce que le loyer mensuel initial soit fixé à 2'050 fr. net. En substance, il critique l'arrêt cantonal en tant qu'il constate un vice de forme dans la notification du loyer et qu'il accorde la prééminence au critère du rendement excessif. En revanche, le recourant ne formule plus de grief quant aux frais d'acquisition de l'immeuble et aux travaux de rénovation de l'appartement loué.
Les locataires (ci-après: les intimés) concluent au rejet du recours. L'autorité précédente se réfère à son arrêt.
La Cour de céans a délibéré sur le recours en séance publique.
Considérant en droit:
1. Dans les causes de droit du bail à loyer, le recours en matière civile n'est recevable que si la valeur litigieuse s'élève au moins à 15'000 fr. (art. 74 al. 1 let. a LTF). Devant l'autorité précédente (art. 51 al. 1 let. a LTF), la part contestée du loyer mensuel s'élevait à 1'170 fr. (2'050 fr. - 880 fr.). S'agissant de prestations périodiques découlant d'un contrat à durée indéterminée (art. 255 al. 3 CO), la valeur litigieuse équivaut à leur montant annuel multiplié par vingt (art. 51 al. 4 LTF), soit 280'800 fr. (1'170 x 12 x 20). Le seuil de 15'000 fr. est ainsi largement dépassé.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), notion qui inclut le droit constitutionnel (ATF 136 II 304 consid. 2.4 p. 313).
Le Tribunal fédéral revoit librement l'application du droit fédéral (cf. art. 106 al. 1 LTF). N'étant pas lié par l'argumentation des parties, il s'en tient cependant, d'ordinaire, aux questions de droit que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (art. 42 al. 2 LTF; ATF 135 III 397 consid. 1.4). En revanche, il n'examine la violation de droits constitutionnels ou de dispositions du droit cantonal que s'il se trouve saisi d'un grief invoqué et motivé de manière circonstanciée (art. 106 al. 2 LTF); l'acte de recours doit alors contenir un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (ATF 135 III 232 consid. 1.2; 134 II 244 consid. 2.2).
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'écarter des constatations de l'autorité cantonale que si elles ont été établies de façon manifestement inexacte - notion qui équivaut à celle d'arbitraire (ATF 137 I 58 consid. 4.1.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). En outre, la correction du vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). S'agissant du grief d'établissement arbitraire des faits ou d'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 255).
3. Le recourant se plaint de lacunes dans l'état de fait arrêté par la cour cantonale en ce sens qu'il passe sous silence les données afférentes à 11 appartements de comparaison et les chiffres ressortant des statistiques du Service de logement de la ville de Lausanne.
A ce stade, l'examen des griefs de fait peut être réservé dans la mesure où leur sort est lié à celui des moyens de droit.
4. 4.1 Le recourant reproche en substance à l'autorité précédente d'avoir mal interprété la motivation donnée dans la formule officielle pour justifier la hausse de loyer par rapport au montant payé par le précédent locataire. A son avis, une juste application de l'art. 18 CO aurait dû conduire à la conclusion qu'un seul motif de hausse de loyer était invoqué, soit l'adaptation aux loyers usuels, dans le cadre duquel il était simplement précisé que l'examen comparatif des loyers devait tenir compte des travaux dont avait bénéficié l'appartement loué. L'autorité cantonale aurait ainsi retenu indûment un motif de nullité du loyer convenu.
4.2 Lorsque, comme en l'espèce, un canton décide de rendre obligatoire l'usage de la formule officielle pour la conclusion de tout nouveau contrat de bail (art. 270 al. 2 CO), ladite formule doit comporter les mêmes mentions qu'en cas de majoration du loyer. Le bailleur doit en particulier indiquer le loyer et l'état des charges payés par le précédent locataire, le nouveau loyer et le nouvel état des charges ainsi que les motifs précis d'une éventuelle hausse (art. 19 al. 1 let. a et al. 3 OBLF - RS 221.213.11; DAVID LACHAT, Le bail à loyer, 2008, p. 396 n° 2.4.4).
La législation sur les loyers abusifs utilise des critères de calcul fondés aussi bien sur les coûts que sur les prix du marché pratiqués pour des objets comparables (ATF 120 II 240 consid. 2 p. 242). Le premier type de critère vise à déterminer si le bailleur ne retire pas de son investissement personnel un rendement exagéré aux dépens du locataire (art. 269 et art. 269a let. b-e CO); le second type tend à fixer le loyer en fonction de la valeur de la chose louée (art. 269a let. a et f CO; cf. aussi art. 10 OBLF en relation avec l'art. 269 in fine CO). Ces deux sortes de critères ne procèdent pas de la même logique (cf. au surplus infra, consid. 5.4). Le bailleur qui fixe le loyer initial doit choisir sur quel terrain il entend se placer, c'est-à-dire décider s'il se fonde sur le critère des coûts ou sur celui des loyers usuels. S'il cumule des facteurs incompatibles, il s'expose au reproche d'avoir motivé sa prétention de manière insuffisamment claire, ce qui entraînera la nullité du loyer initial (ATF 121 III 6 consid. 3c; arrêt 4C.245/1999 du 3 janvier 2000 consid. 3b, in mp 2000 p. 27; LACHAT, op. cit., p. 525 n° 1.6 et p. 544 n° 6.3; PETER HIGI, Zürcher Kommentar, 4e éd. 1998, nos 92 et 117 ad art. 269d CO). Demeure réservée l'hypothèse où le bailleur propose une motivation principale et une subsidiaire (arrêt 4C.245/1999 précité, ibidem, confirmé à l'arrêt 4C.330/2002 du 31 janvier 2003 consid. 3.2.2; LACHAT, op. cit., p. 525 s. n° 1.6).
La motivation donnée sur la formule officielle constitue une déclaration de volonté du bailleur (ATF 118 II 130 consid. 2b). La détermination de son sens et de sa portée s'effectue conformément aux principes généraux en matière d'interprétation des manifestations de volonté. Si le locataire et le bailleur ne sont pas d'accord sur le sens à donner à cette communication, il faut recourir au principe de la confiance (ATF 121 III 6 consid. 3c p. 10; 121 III 460 consid. 4a/cc p. 466; plus récent, arrêt 4A_409/2009 du 1er février 2010 consid. 2.1).
4.3 Le recourant a justifié le montant du loyer initial (2'050 fr.) par rapport au précédent bail (1'689 fr.) en faisant valoir une "adaptation (...) aux loyers usuels de la localité ou du quartier" et en se référant à la disposition légale topique, soit l'art. 269a let. a CO. Ce faisant, il s'est clairement référé au critère des prix du marché, ce qu'il ne conteste pas. Est litigieuse l'interprétation de la phrase suivante, ainsi formulée: "En outre, l'appartement a fait l'objet de travaux pour 30'000 fr. environ". L'arrêt attaqué ne constate pas que les parties en auraient eu la même compréhension, de sorte que le recours à l'interprétation selon le principe de la confiance était justifié. Dans cette méthode, la volonté de l'auteur de la déclaration litigieuse importe peu dès lors qu'il doit se laisser imputer le sens que le destinataire pouvait de bonne foi lui donner dans les circonstances concrètes. C'est donc à tort que le recourant reproche à l'autorité précédente de ne pas avoir recherché sa volonté réelle.
A l'instar des premiers juges, la cour cantonale a considéré que la mention du montant des travaux renvoyait implicitement au critère des coûts et que la locution adverbiale "en outre" introduisait un second motif de fixation de loyer. Une telle interprétation ne prête pas le flanc à la critique. "En outre" signifie "de plus, en plus de"; cette expression ne fait ressortir aucun rapport de subordination entre les deux critères, ce que le recourant ne conteste plus devant le Tribunal fédéral. Il nie désormais avoir voulu introduire un second motif de hausse de loyer. L'argument tombe à faux. La tournure adverbiale précitée introduit un élément nouveau, à savoir que l'appartement loué a bénéficié de travaux d'un montant déterminé. Cette précision est apportée au stade de la justification du loyer initial. Or, les travaux constituent à certaines conditions un facteur de hausse du loyer selon le critère des coûts. Dans ces circonstances, les intimés pouvaient et devaient de bonne foi comprendre que l'indication sur les travaux de 30'000 fr. constituait un second motif invoqué à l'appui de la hausse de loyer par rapport au précédent locataire. Si le recourant cherchait uniquement à mettre en évidence l'état de l'appartement loué dans la perspective d'une juste comparaison des immeubles, il aurait dû faire en sorte que sa remarque ne puisse pas être interprétée comme un motif de hausse, en indiquant par exemple que "dans l'examen des loyers comparatifs, il faut tenir compte de l'état de l'appartement loué, qui a bénéficié de travaux à hauteur de 30'000 fr.". Il s'ensuit que le grief doit être rejeté.
4.4 Les facteurs invoqués par le recourant sont antinomiques. Le recourant ne conteste pas en soi la sanction liée au vice de forme dans la notification du loyer. En définitive, c'est à juste titre que les autorités cantonales successives ont constaté la nullité partielle du contrat de bail quant au loyer convenu (ATF 124 III 62 consid. 2a p. 64; 120 II 341 consid. 5).
5. 5.1 Le recourant se plaint d'une violation des art. 269, 269a et 270 CO. En substance, il reproche à la Chambre des recours d'avoir fixé le loyer exclusivement selon le critère du rendement, au mépris de la jurisprudence fédérale prescrivant de prendre en compte toutes les circonstances du cas, y compris les loyers usuels du quartier et le loyer payé par le précédent locataire. L'interprétation littérale et historique des art. 269 à 270 CO montrerait que le législateur n'a pas voulu remettre en cause le système d'économie de marché et a renoncé à fixer les loyers uniquement en fonction des coûts, plaçant ce critère sur pied d'égalité avec celui des loyers du marché. Le calcul de rendement ne saurait conduire à fixer un loyer inférieur de plus de 50 % aux loyers du marché. En présence d'un résultat aussi "aberrant", il conviendrait de se référer aux loyers usuels, comme l'admet la jurisprudence pour les immeubles anciens ou en cas de libéralité, où le prix du marché est pris en compte dans le calcul de rendement en lieu et place du prix d'acquisition effectif.
5. 5.1 Le recourant se plaint d'une violation des art. 269, 269a et 270 CO. En substance, il reproche à la Chambre des recours d'avoir fixé le loyer exclusivement selon le critère du rendement, au mépris de la jurisprudence fédérale prescrivant de prendre en compte toutes les circonstances du cas, y compris les loyers usuels du quartier et le loyer payé par le précédent locataire. L'interprétation littérale et historique des art. 269 à 270 CO montrerait que le législateur n'a pas voulu remettre en cause le système d'économie de marché et a renoncé à fixer les loyers uniquement en fonction des coûts, plaçant ce critère sur pied d'égalité avec celui des loyers du marché. Le calcul de rendement ne saurait conduire à fixer un loyer inférieur de plus de 50 % aux loyers du marché. En présence d'un résultat aussi "aberrant", il conviendrait de se référer aux loyers usuels, comme l'admet la jurisprudence pour les immeubles anciens ou en cas de libéralité, où le prix du marché est pris en compte dans le calcul de rendement en lieu et place du prix d'acquisition effectif.
5.2 5.2.1 En matière de loyers abusifs, le Code des obligations pose les règles suivantes:
Art. 269
A. Loyers Les loyers sont abusifs lorsqu'ils permettent au bailleur
abusifs d'obtenir un rendement excessif de la chose louée ou
I. Règle lorsqu'ils résultent d'un prix d'achat manifestement exagéré.
Art. 269a
II. Exceptions Ne sont en règle générale pas abusifs les loyers qui, notamment:
a. se situent dans les limites des loyers usuels dans la localité ou dans le quartier;
(...)
Les art. 269 et 269a CO, précisés par les art. 10 ss OBLF, ont succédé, dans une teneur semblable, aux art. 14 et 15 de l'ancien arrêté fédéral du 30 juin 1972 instituant des mesures contre les abus dans le secteur locatif (AMSL - RO 1972 II 1534 s.).
Le Tribunal fédéral s'est prononcé à plusieurs reprises sur le rapport entre les art. 14 et 15 AMSL, respectivement les art. 269 et 269a CO.
Sous l'ancien droit, il a jugé que la réalisation d'une des conditions prévues à l'art. 15 let. a-e AMSL n'excluait pas l'existence d'un abus et constituait seulement une présomption en ce sens (ATF 102 Ia 19 consid. 4b p. 22). Il a ensuite été précisé que le juge ne pouvait pas s'écarter sans raisons sérieuses de cette présomption légale et ne devait procéder à l'examen supplémentaire du rendement inéquitable au sens de l'art. 14 AMSL que si l'étude du cas sous l'angle de l'art. 15 AMSL ou les allégations du locataire révélaient des indices d'abus (ATF 103 II 41 consid. 3c p. 49); l'absence d'adaptation lors de précédentes baisses du taux hypothécaire constituait un tel indice (ATF 108 II 135 consid. 1a; 112 II 149 consid. 1c). Il a encore été précisé que l'art. 14 AMSL avait une signification indépendante de l'art. 15 AMSL et pouvait s'appliquer directement (ATF 116 II 594 consid. 6 et 7a).
Après l'entrée en vigueur des art. 269 et 269a CO, le Tribunal fédéral a considéré dans un arrêt de principe publié aux ATF 124 III 310 que les exceptions prévues à l'art. 269a CO ne sont que subsidiaires, en ce sens qu'elles ne déploient d'effet que si le locataire ne parvient pas à renverser la présomption que pose cette disposition. Le locataire doit être admis à prouver que le loyer est abusif au sens de l'art. 269 CO. En d'autres termes, les loyers comparatifs (art. 269a let. a CO) ne peuvent pas servir de moyen de défense à un bailleur auquel le locataire démontre que le rendement de l'immeuble est exagéré au sens de l'art. 269 CO. Ce n'est qu'en cas d'échec du renversement de la présomption ou d'impossibilité à établir le rendement excessif, notamment lorsqu'il s'agit d'immeubles anciens, qu'il peut être fait application du critère des loyers usuels (arrêt précité, consid. 2b p. 312). Cette jurisprudence n'a ensuite plus varié (cf. arrêts 4A_3/2011 du 28 février 2011 consid. 2; 4A_576/2008 du 19 février 2009 consid. 2.4; 4C.61/2005 du 27 mai 2005 consid. 4.3.2, in SJ 2006 I 34; 4C.236/2004 du 12 novembre 2004 consid. 3.2; 4C.323/2001 du 9 avril 2002 consid. 3a, in SJ 2002 I 434).
5.2.2 Selon la jurisprudence fédérale, la prééminence de principe du critère du rendement excessif vaut également lorsque le juge est appelé à fixer le loyer initial après avoir constaté la nullité du loyer convenu.
Il a tout d'abord été dit que le juge confronté à une telle situation doit se fonder sur toutes les circonstances du cas et tenir compte, entre autres facteurs, du rendement que la chose procure au bailleur, des loyers pratiqués dans le quartier et du loyer payé par le précédent locataire. Le loyer convenu par les parties constitue la limite supérieure du montant à fixer par le juge (ATF 120 II 341 consid. 6c p. 351; 124 III 62 consid. 2b p. 64).
Le Tribunal fédéral a ensuite précisé que la fixation du loyer approprié selon la jurisprudence susmentionnée ne suppose pas un calcul proportionnel entre le loyer admissible aux termes de l'art. 269 CO, la moyenne des loyers du quartier et le loyer payé par le locataire précédent. En principe, le juge doit partir du critère absolu de fixation du loyer que constitue le rendement non abusif de la chose louée selon l'art. 269 CO. Il pourra ensuite confronter le montant obtenu aux loyers usuels du quartier. Il est exclu toutefois de fixer le loyer initial à la hauteur de la moyenne des loyers du quartier si celle-ci est plus élevée que le montant obtenu en application de l'art. 269 CO, car le loyer serait alors nécessairement abusif selon la règle générale de l'art. 269 CO (arrêt 4C.274/1997 du 27 avril 1998 consid. 4b/aa, in SJ 1998 p. 718).
5.2.3 L'ATF 124 précité fait une réserve en faveur des immeubles anciens. Pour ce type de bien, il peut être difficile, voire impossible de reconstituer le capital propre investi, soit que les pièces comptables manquent, soit qu'elles laissent apparaître, après indexation, des montants économiquement irréalistes. Aussi la jurisprudence admet-elle, s'agissant d'immeubles construits ou acquis il y a quelques décennies, que la hiérarchie entre les critères absolus est inversée par rapport à celle prévalant pour les immeubles dits récents: si un loyer augmenté selon un facteur relatif entre dans les limites des loyers usuels du quartier, il n'y a pas lieu de procéder au surplus au calcul du rendement net; en revanche, un tel calcul ne peut être refusé au locataire qui le demande, lorsque le bailleur qui entend augmenter le loyer ne se prévaut pas à son tour des loyers du quartier ou ne parvient pas à apporter la preuve requise à cet égard (arrêt 4C.323/2001 du 9 avril 2002 consid. 3a, in SJ 2002 I 434, confirmé aux arrêts 4A_669/2010 du 28 avril 2011 consid. 4.1; 4C.285/2005 du 18 janvier 2006 consid. 2.4, in CdB 2006 p. 59, traduit in MRA 2006 p. 1; 4C.236/2004 du 12 novembre 2004 consid. 3; sous l'ancien droit, ATF 112 II 149 consid. 3d; cf. aussi ATF 122 III 257 consid. 4a/bb).
5.2.4 Le coût d'acquisition effectif de l'immeuble est en principe déterminant pour le calcul de rendement. La jurisprudence admet un correctif lorsque le bailleur a acquis le bien à titre gratuit ou à un prix préférentiel en raison d'une donation, respectivement d'une donation mixte. Dans un tel cas, le calcul peut se fonder sur la valeur du marché au moment de l'acquisition. L'avantage consenti au bailleur dans de telles circonstances est destiné exclusivement à le favoriser lui, et non pas ses locataires; le bailleur doit pouvoir tirer un profit économique de la libéralité qui lui a été délibérément accordée (arrêt 4C.285/2005 précité consid. 2.5, affaire dans laquelle le bailleur propriétaire d'un immeuble ancien n'avait établi ni la valeur du marché, ni les loyers usuels). Lorsque la preuve d'une libéralité n'est pas établie et que le prix payé est inférieur d'environ 10 à 20 % à la valeur du marché, il ne se justifie pas de s'écarter du prix effectif payé (arrêt 4C.234/1994 du 6 décembre 1994 consid. 3a, in MRA 1995 p. 75 et mp 1995 p. 79).
5.3 Contrairement à ce que plaide le recourant, la cour cantonale n'a pas méconnu la jurisprudence fédérale dont elle a rappelé les principes. En particulier, elle ne s'est pas méprise sur la portée de l'ATF 120 II 341 consid. 6c tel que précisé par l'arrêt 4C.274/1997, s'agissant des principes régissant la fixation du loyer initial frappé de nullité.
En réalité, les critiques du recourant remettent en cause la jurisprudence consacrée à l'ATF 124 III 310.
5.4 Un revirement de jurisprudence peut se justifier notamment lorsqu'il apparaît que les circonstances ou les conceptions juridiques ont évolué ou qu'une autre pratique respecterait mieux la volonté du législateur. Les motifs du changement doivent être objectifs et d'autant plus sérieux que la jurisprudence est ancienne afin de ne pas porter atteinte sans raison à la sécurité du droit (ATF 136 III 6 consid. 3; 135 II 78 consid. 3.2).
En l'occurrence, la jurisprudence relative au rapport entre les articles 269 et 269a let. a CO n'a pas manqué de soulever des critiques au sein de la doctrine. L'un des motifs invoqués est que la prééminence donnée au critère du rendement irait contre la lettre de la loi et la volonté du législateur (cf. notamment SVIT-Kommentar, Das schweizerische Mietrecht, 3e éd. 2008, p. 514 ss n° 10 ss des remarques précédant les art. 269-270e CO; JÜRG P. MÜLLER, MRA 1998 p. 149 ss; cf. aussi HANS BÄTTIG, MRA 2002, p. 146 ss).
Il est toutefois communément admis qu'il existe un antagonisme de fond entre le critère des coûts et celui du marché, chacun répondant à une philosophie différente (HIGI, op. cit., n° 434 ad art. 269 CO; Rapport explicatif de l'Office fédéral du logement du 27 février 2008 sur la révision du droit du bail dans le CO, p. 2 ch. 2, accessible sur le site Internet http:// www.bwo.admin.ch/dokumentation/00179/00204/ index.html?; cf. aussi ATF 118 II 130 consid. 3a et 117 II 452 consid. 4a, qui parlent de tension [Spannungsverhältnis] entre les deux critères). Le Tribunal fédéral s'est penché à maintes reprises sur le rapport entre ces deux critères de fixation du loyer, non sans se référer aux travaux législatifs (cf. notamment ATF 102 Ia 19; 103 II 41; 112 II 149 et 116 II 594 précités); il a consacré une solution en accord avec les travaux législatifs, qui exposaient la problématique des immeubles anciens en préconisant de leur appliquer le critère des loyers usuels (cf. message du 24 avril 1972 [...] concernant des mesures urgentes contre les abus dans le secteur locatif, FF 1972 I 1221 s. et 1224 s.). Constatant la difficulté à coordonner ces deux critères, le législateur a cherché une solution, pour finalement se résoudre au statu quo (cf. message du 27 mars 1985 concernant l'initiative populaire "pour la protection des locataires" [...], FF 1985 I 1469 ss; plus récemment, message du 12 décembre 2008 relatif à la modification du code des obligations [Protection contre les loyers abusifs], FF 2009 319 ss et 330 s.). L'on ne peut en définitive que constater l'inexistence de motifs objectifs sérieux qui justifieraient de modifier la jurisprudence consacrée à l'ATF 124 III 310.
5.5 Le recourant prétend qu'il se trouverait dans la même situation que l'acquéreur d'un immeuble ancien ou le bénéficiaire d'une donation mixte et que cette analogie justifierait le recours au critère des loyers usuels, qui pourrait être appliqué directement ou intégré dans le calcul de rendement au niveau du coût d'acquisition.
Comme mentionné précédemment, la possibilité de recourir aux loyers du quartier s'agissant d'immeuble construit ou acquis anciennement est justifiée par le fait que le prix d'acquisition, pour autant qu'il puisse encore être prouvé, correspond à un montant irréaliste au regard des valeurs actuelles. Le recourant n'établit pas une situation similaire; il a tout au plus allégué, sans même le prouver, une différence délibérée de "15 % au moins" entre le prix d'acquisition et celui du marché en 2002 (cf. arrêt attaqué, consid. 6b p. 9).
Le recourant est par ailleurs d'avis qu'en cas d'acquisition de l'immeuble à un prix préférentiel, il n'y aurait pas lieu de distinguer selon que l'avantage obtenu est dû à une donation mixte ou au savoir-faire du bailleur.
En raison de la législation contre les abus, le bailleur doit se satisfaire d'un loyer qui lui procure un rendement approprié par rapport aux montants investis. Une exception au coût d'acquisition effectif est tout au plus prévue à l'art. 269 in fine CO afin de protéger les locataires lorsque le prix d'achat de l'immeuble est exagéré. Une dérogation en faveur du bailleur ne peut dès lors être admise qu'avec réserve, soit tout au plus lorsque l'aliénateur a voulu accorder au bailleur personnellement, en raison de liens particuliers (cf. arrêt 4C.234/1994 précité consid. 3a), un avantage économique qu'il convient de répercuter dans le calcul de rendement en tenant compte de la valeur effective de l'immeuble aliéné. On ne saurait dès lors ignorer l'importance que revêt l'intention de procéder à une libéralité. Le recourant ne justifie pas de telles circonstances particulières, ce qui exclut déjà de le faire bénéficier de la jurisprudence précitée. Sur le plan objectif, la donation mixte implique une disproportion entre le prix et la valeur réelle du bien. Le recourant insiste sur la disparité entre le loyer issu du calcul de rendement et les loyers du quartier, disparité qui démontrerait à elle seule l'existence d'un prix d'achat très favorable; dans le même temps, il se contente d'alléguer une différence de 15 % au moins avec la valeur réelle. Or, le coût d'acquisition de l'immeuble n'est qu'un des facteurs qui influencent le calcul de rendement. En outre, il se peut que les loyers du quartier et le loyer du précédent preneur soient abusifs sans que les locataires concernés n'aient cherché à sanctionner cette situation et à faire valoir leurs droits.
Il n'y a ainsi pas de motif justifiant d'appliquer par analogie la jurisprudence relative aux immeubles anciens ou acquis en suite d'une libéralité.
5.6 Le recourant objecte encore qu'il ne saurait être traité plus sévèrement que le bailleur qui omet de recourir à la formule officielle de manière abusive afin d'empêcher toute contestation de la part du locataire; or, dans une telle situation, la jurisprudence commanderait de fixer le loyer à tout le moins à la hauteur du loyer payé par le précédent locataire.
Le recourant se méprend sur la portée de cette jurisprudence (ATF 120 II 341 consid. 6c p. 351). En affirmant que le loyer convenu et frappé de nullité constitue la limite supérieure du loyer à fixer par le juge, le Tribunal fédéral a admis que le loyer initial ne doit pas nécessairement être réduit au loyer du précédent locataire (arrêt 4C.274/1997 précité consid. 4b/aa). Toutefois, il a reconnu qu'il peut se justifier de le ramener au niveau précédent dans la situation d'abus évoquée ci-dessus. Ceci dit, il ne faut pas perdre de vue que le juge peut encore descendre en-deçà du précédent loyer, sans égard au fait que le loyer contesté a été régulièrement notifié (SÉBASTIEN FETTER, La contestation du loyer initial, 2005, pp. 229-233; cf. arrêt 4C.281/2006 du 17 novembre 2006 consid. 2) ou non (AT 120 II 341 consid. 6a).
5.7 Le recourant se plaint d'une violation des art. 9, 26 et 109 Cst. Tel que formulé, le grief ne répond pas aux exigences de motivation plus strictes de l'art. 106 al. 2 LTF, de sorte qu'il doit être écarté. Au demeurant, le moyen est lié à celui de fausse application des art. 269 et 269a CO, lequel se révèle infondé.
5.8 En bref, la Chambre des recours n'a pas enfreint le droit fédéral en renonçant à recourir au critère des loyers usuels et en effectuant le calcul de rendement sur la base du prix d'acquisition effectif.
Le recourant ne soulève pas d'autre critique contre le calcul de rendement, de sorte que le montant du loyer doit être confirmé.
5.9 Le rejet des moyens de droit prive d'objet les griefs dirigés contre l'état de fait.
6. En définitive, le recours est rejeté dans la mesure où il est recevable.
Vu le sort du recours, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF) et versera aux intimés une indemnité à titre de dépens (art. 68 al. 1, 2 et 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le recourant versera aux intimés, créanciers solidaires, une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 octobre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti