Faits:
Faits:
A. A._ a loué à B._ et C._ un appartement de cinq pièces pour une durée de cinq ans dès le 1er avril 2003, pour un loyer annuel de 21'480 fr., indexable, et avec une clause de renouvellement tacite de cinq ans en cinq ans. L'avis de fixation du loyer initial indiquait que le précédent loyer s'élevait à 20'640 fr. depuis le 1er septembre 2000. L'adaptation, à 21'480 fr., était déterminée en fonction des loyers usuels d'objets comparables dans le quartier.
Le 16 avril 2003, les locataires ont signalé au propriétaire quelques défauts non mentionnés sur l'état des lieux, qu'ils avaient reçu le 31 mars 2003.
Le 16 avril 2003, les locataires ont signalé au propriétaire quelques défauts non mentionnés sur l'état des lieux, qu'ils avaient reçu le 31 mars 2003.
B. Le 17 avril 2003, B._ et C._ ont saisi la Commission de conciliation en matière de baux et loyers du canton de Genève d'une requête en contestation du loyer initial tendant notamment à ce que celui-ci soit fixé à 15'456 fr. par an, charges non comprises. Ils exposaient que l'immeuble était en général mal entretenu et que les locaux loués n'avaient pas été rafraîchis à leur entrée en jouissance.
Non conciliée, la cause a été portée devant le Tribunal des baux et loyers qui, par jugement du 6 septembre 2005, a fixé le loyer à 17'460 fr. par an, charges non comprises, en ordonnant le remboursement du loyer trop perçu et la réduction proportionnelle de la garantie bancaire. En particulier, le Tribunal a considéré qu'il ne fallait pas s'en tenir aux loyers payés par le précédent locataire.
Saisie par le bailleur et statuant par arrêt du 12 juin 2006, la Chambre d'appel en matière de baux et loyers a rejeté l'appel. Elle a notamment retenu que, s'agissant de fixer le loyer initial régulièrement notifié dans une formule officielle, son contrôle devait être opéré par le calcul du rendement de la chose louée en application de l'<ref-law>. Dès lors que celui-là faisait apparaître comme abusif le loyer payé par le précédent locataire, il n'était pas possible de maintenir ce dernier, sauf à violer la règle claire de l'<ref-law>.
Saisie par le bailleur et statuant par arrêt du 12 juin 2006, la Chambre d'appel en matière de baux et loyers a rejeté l'appel. Elle a notamment retenu que, s'agissant de fixer le loyer initial régulièrement notifié dans une formule officielle, son contrôle devait être opéré par le calcul du rendement de la chose louée en application de l'<ref-law>. Dès lors que celui-là faisait apparaître comme abusif le loyer payé par le précédent locataire, il n'était pas possible de maintenir ce dernier, sauf à violer la règle claire de l'<ref-law>.
C. A._ (le défendeur) interjette un recours en réforme au Tribunal fédéral. Il conclut à la fixation du loyer annuel de l'appartement litigieux à 20'640 fr., charges non comprises, avec suite de frais et dépens.
B._ et C._ (les demandeurs) proposent le rejet du recours, sous suite de frais et dépens.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Interjeté par le défendeur, qui n'a pas obtenu le déboutement total des demandeurs de leurs conclusions en contestation du loyer initial, et dirigé contre une décision finale rendue en dernière instance par un tribunal supérieur (art. 48 al. 1 OJ), le recours en réforme soumis à l'examen du Tribunal fédéral est en principe recevable, puisqu'il a été déposé en temps utile compte tenu des féries (art. 34 al. 1 let. b et 54 al. 1 OJ) et dans les formes requises (art. 55 OJ).
S'agissant d'un contrat de bail reconductible tacitement, soit de durée indéterminée (<ref-ruling> consid. 2b), la valeur litigieuse déterminante doit être calculée en fonction de la baisse requise, fixée annuellement et multipliée par vingt (art. 36 al. 5 OJ; cf. arrêt 4C.169/2002 du 16 octobre 2002, reproduit in Pra 2003 n. 124 p. 661, consid. 1.1). En l'occurrence, la différence entre le montant contesté et celui retenu est de 3'180 fr. par an, ce qui établit la valeur litigieuse à 63'600 fr., de sorte que le seuil de 8'000 fr. ouvrant la voie du recours en réforme (art. 46 OJ) est largement atteint.
1.2 Saisi d'un tel recours, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il faille rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents, régulièrement allégués et clairement établis (art. 64 OJ). Dans la mesure où la partie recourante présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (<ref-ruling> consid. 2.2 p. 106, 136 consid. 1.4). Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). Le recours en réforme n'est donc pas ouvert pour remettre en cause l'appréciation des preuves et les constatations de fait qui en découlent (<ref-ruling> consid. 1.4; <ref-ruling> consid. 3).
1.3 Au surplus, la juridiction de réforme ne peut aller au-delà des conclusions des parties; en revanche, elle n'est liée ni par les motifs développés par celles-ci (art. 63 al. 1 OJ; <ref-ruling> consid. 1.4; <ref-ruling> consid. 3.2.2 p. 415), ni par l'argumentation juridique adoptée par la cour cantonale (art. 63 al. 3 OJ; <ref-ruling> consid. 1.4; <ref-ruling> consid. 2e/cc p. 29).
1.3 Au surplus, la juridiction de réforme ne peut aller au-delà des conclusions des parties; en revanche, elle n'est liée ni par les motifs développés par celles-ci (art. 63 al. 1 OJ; <ref-ruling> consid. 1.4; <ref-ruling> consid. 3.2.2 p. 415), ni par l'argumentation juridique adoptée par la cour cantonale (art. 63 al. 3 OJ; <ref-ruling> consid. 1.4; <ref-ruling> consid. 2e/cc p. 29).
2. En un seul moyen, longuement développé, le défendeur fait grief à la cour cantonale d'avoir violé l'<ref-law>, en ce sens qu'elle ne pouvait pas fixer un loyer initial inférieur au montant payé par le précédent locataire, ce que cette disposition légale prohiberait. Pour l'essentiel, le défendeur fonde son raisonnement sur l'avis de doctrine de Maryse Jornod (cf. Jornod, La limite inférieure de la diminution du loyer initial lors du changement de locataire, Cahiers du bail [CdB] 2005 p. 1 ss).
2.1 Dans le cas particulier, le principe du calcul du rendement de la chose louée en application des art. 269 et 269a CO, auxquels renvoie l'<ref-law>, n'est plus contesté en instance fédérale. Le seul problème devant désormais être tranché demeure celui de savoir si la contestation du loyer initial permet de le fixer en deçà du montant payé par le précédent locataire.
2.2 En l'espèce, le bailleur a régulièrement notifié un avis de fixation du loyer initial, qui ouvre le droit pour le locataire de le faire contrôler pour établir s'il est abusif ou non, en application des art. 269 et 269a CO. Or, une telle opération s'opère par le calcul du rendement de la chose louée, selon la méthode dite absolue, qui n'implique aucune référence au loyer antérieur payé par le précédent locataire. Celle-ci n'intervient que dans l'hypothèse de l'<ref-law>, lorsque le bailleur a sensiblement augmenté le loyer initial pour la même chose par rapport au précédent loyer, ce qui n'est pas le cas présentement dans la mesure où le loyer annuel a passé de 20'640 fr. à 21'480 fr., soit une majoration de 3,9%.
De même, comme l'a relevé la cour cantonale, la présente espèce ne traite pas d'un cas de nullité partielle, dans lequel le juge jouit d'un large pouvoir d'appréciation pour la fixation du nouveau loyer, qui peut inclure la référence "à la hauteur du loyer payé par le locataire précédent" (cf. <ref-ruling> consid. 6c p. 351).
Outre que la référence au précédent loyer n'a aucun sens dans le cadre de l'application de la méthode absolue, elle pourrait se révéler contraire à l'objectif constitutionnel et légal de protection des locataires contre les abus, si le loyer précédemment payé était déjà abusif ou le deviendrait, à la suite d'une diminution des coûts, par exemple (cf. <ref-ruling> consid. 6a p. 350). De plus, comme un tel mode de faire serait particulièrement aléatoire et dépendant de circonstances extérieures aux parties au contrat, le respect du principe de la bonne foi entre les cocontractants ne permet pas de le prendre en considération. Ainsi, le nouveau locataire n'a pas à subir le loyer arrêté en fonction de circonstances propres au précédent locataire, notamment lorsque ce dernier avait les moyens de payer un montant que le calcul de rendement ne justifierait pas, par exemple lorsqu'il louait l'objet pour une période limitée, même à un prix trop élevé, ou que son loyer était payé en tout ou en partie par un tiers, notamment par l'employeur dans le cas du logement du personnel expatrié, d'une entreprise multinationale, ou encore parce que le locataire avait d'autres rapports de droit avec le bailleur, qui l'amenait à négliger la recherche du juste prix de son logement.
Dans sa majorité, la doctrine estime que la fixation du loyer initial ne trouve pas de limite inférieure dans le loyer dû par le précédent locataire (cf. les références citées par Fetter, La contestation du loyer initial: étude de l'article 270 CO, Berne 2005, n. 502 p. 230). Ce dernier auteur critique la position isolée retenue par Maryse Jornod, selon laquelle le loyer initial ne peut être fixé en deçà du dernier loyer payé par l'ancien locataire, position qui reviendrait à remettre en vigueur un système de surveillance des loyers, abandonné depuis le 1er juillet 1990. Pour celui-là, le locataire peut faire usage de son droit de contestation même si le loyer n'a pas changé par rapport à celui du précédent preneur et si son montant doit être réduit en cas de rendement excessif, ce qui entraîne comme conséquence la possibilité de fixer un loyer à un niveau inférieur à celui payé par le précédent locataire. L'interprétation littérale de l'<ref-law> conduisait au même résultat, ainsi que la recherche téléologique, puisque la contestation initiale a pour finalité de vérifier si le loyer est abusif ou non, selon la méthode objective, et non pas par rapport à un loyer payé antérieurement par un tiers. Seule cette possibilité de contrôle du loyer permet de trancher sur son caractère éventuellement abusif, conformément à l'objectif constitutionnel et légal de protection des locataires, ce qui entraîne comme conséquence la possibilité d'arrêter un montant du loyer inférieur à celui supporté par le précédent preneur de bail (cf. Fetter, op. cit., n. 505 à 509 p. 231 à 233).
Pour l'essentiel, ces considérations rejoignent celles évoquées dans la jurisprudence du Tribunal fédéral, notamment l'<ref-ruling> consid. 6a, b et c. Dans ces conditions, le grief de violation de l'<ref-law> par la cour cantonale s'avère infondé et doit être écarté, ce qui entraîne le rejet du recours et, implicitement, la confirmation de l'arrêt entrepris.
Pour l'essentiel, ces considérations rejoignent celles évoquées dans la jurisprudence du Tribunal fédéral, notamment l'<ref-ruling> consid. 6a, b et c. Dans ces conditions, le grief de violation de l'<ref-law> par la cour cantonale s'avère infondé et doit être écarté, ce qui entraîne le rejet du recours et, implicitement, la confirmation de l'arrêt entrepris.
3. Compte tenu de l'issue du litige, les frais et dépens seront mis à la charge du défendeur, qui succombe (art. 156 al. 1 et 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 3'000 fr. est mis à la charge du défendeur.
2. Un émolument judiciaire de 3'000 fr. est mis à la charge du défendeur.
3. Le défendeur versera aux demandeurs, créanciers solidaires, une indemnité de 3'500 fr. à titre de dépens.
3. Le défendeur versera aux demandeurs, créanciers solidaires, une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des par-ties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 17 novembre 2006
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: La greffière: