Faits:
A. Depuis 1996, Y._ et Z._ louent une surface commerciale à Genève, pour laquelle des acomptes provisionnels pour le chauffage et l'eau chaude ont été fixés à 1'800 fr. l'an. Le 8 mars 2007, le bailleur X._ a mis les locataires en demeure de s'acquitter du montant de 8'263 fr. 25 représentant le solde impayé des charges de chauffage et d'eau chaude. Les locataires ont contesté les décomptes produits à leur requête, les considérant comme trop sommaires.
B. Le 27 juillet 2007, les locataires ont saisi le Tribunal des baux et loyers du canton de Genève d'une demande dirigée contre le bailleur en production des décomptes détaillés, tableaux de répartition et pièces justificatives des décomptes de chauffage et eau chaude pour les saisons 2001/2002 à 2005/2006, subsidiairement en restitution de tous les acomptes versés pour lesdites saisons. Pour sa part, le bailleur a conclu au rejet de la demande et, à titre reconventionnel, à ce que les locataires soient condamnés au paiement du montant de 8'238 fr. 35 avec intérêts à 5 % l'an dès le 1er novembre 2003 et à ce que la mainlevée définitive soit prononcée pour ce montant dans la poursuite y relative. Par jugement du 16 janvier 2008, le Tribunal des baux et loyers a débouté les locataires de toutes leurs conclusions et admis l'action reconventionnelle du bailleur.
Saisie par les locataires et statuant par arrêt du 9 mars 2009, la Chambre d'appel en matière de baux et loyers du canton de Genève a annulé le jugement du 16 janvier 2008 et renvoyé la cause au Tribunal des baux et loyers pour nouvelle décision et complément d'instruction. Elle a considéré que les premiers juges auraient dû interpeller les locataires, en leur accordant un délai pour s'exprimer par écrit ou par la voie d'une audience de comparution personnelle des parties, afin qu'ils formulent plus précisément les griefs qu'ils avaient relativement aux postes retenus dans les décomptes généraux de charges produits par le bailleur; par la suite, ils auraient dû inviter le bailleur à produire les pièces justificatives des postes concernés précisément; à défaut, le Tribunal n'était pas en mesure de juger et avait en conséquence violé le droit à la preuve.
C. Le bailleur (le recourant) a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il concluait principalement à ce que la demande des locataires soit rejetée, à ce que ceux-ci soient condamnés solidairement à lui verser le montant de 8'238 fr. 35 avec intérêts à 5 % l'an dès le 1er novembre 2003 et à ce que la mainlevée définitive soit prononcée pour ce montant dans la poursuite y relative, avec suite de dépens. En résumé, il soutenait que l'arriéré réclamé avait été établi à satisfaction de droit et que des investigations complémentaires n'étaient pas nécessaires. Il demandait également l'effet suspensif, qui a été accordé par ordonnance présidentielle du 28 mai 2009.
Les locataires (les intimés), qui contestaient la recevabilité et le bien-fondé des recours, ont proposé le rejet, sous suite de dépens.
Considérant en droit:
1. L'arrêt attaqué, qui ne termine pas la cause, est une décision préjudicielle ou incidente notifiée séparément qui ne porte ni sur la compétence ni sur une demande de récusation (cf. art. 92 LTF). Elle ne peut dès lors faire l'objet d'un recours que si elle est susceptible de causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou, hypothèse invoquée par le recourant, si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF); à défaut, elle pourra seulement être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF). Cette réglementation est fondée sur des motifs d'économie de la procédure: en tant que cour suprême, le Tribunal fédéral ne devrait en principe connaître qu'une seule fois de la même affaire, à la fin de la procédure (ATF 134 III 188 consid. 2.2; 134 IV 43 consid. 2.1 p. 45; 133 III 629 consid. 2.1 p. 631).
Le recours est ainsi ouvert contre les décisions préjudicielles ou incidentes, notifiées séparément, si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). La première des deux conditions cumulatives est réalisée si le Tribunal fédéral peut mettre fin une fois pour toutes à la procédure en jugeant différemment la question tranchée dans la décision préjudicielle ou incidente (ATF 133 III 629 consid. 2.4.1). Quant à la seconde condition, il appartient au recourant d'établir qu'une décision finale immédiate permettrait d'éviter une procédure probatoire longue et coûteuse, si cela n'est pas manifeste; il doit en particulier indiquer de manière détaillée quelles questions de fait sont encore litigieuses, quelles preuves - déjà offertes ou requises - devraient encore être administrées et en quoi celles-ci entraîneraient une procédure probatoire longue et coûteuse (ATF 133 III 629 consid. 2.4.2 p. 633).
Tout renvoi pour complément d'instruction entraîne nécessairement des frais et un prolongement de la procédure; cela ne suffit toutefois pas pour ouvrir la voie d'un recours immédiat. Pour que la condition légale soit remplie, il faut que la procédure probatoire, par sa durée et son coût, s'écarte notablement des procès habituels. Si l'administration des preuves doit se limiter à entendre les parties, leur permettre de produire des pièces et procéder à l'interrogatoire de quelques témoins, un recours immédiat n'est pas justifié; il en va différemment s'il faut envisager une expertise complexe, plusieurs expertises, l'audition de très nombreux témoins ou l'envoi de commissions rogatoires dans des pays lointains (cf. Corboz, in Commentaire de la LTF, 2009, n° 34 ad art. 93 LTF).
En l'espèce, le recourant allègue d'abord que le Tribunal des baux et loyers, auquel la cause est renvoyée, est invité à procéder à des investigations complémentaires qui vont rallonger la procédure, aggraver les frais - notamment d'avocat - du bailleur et impliquer la production d'un volume de pièces considérable regroupées dans plusieurs classeurs fédéraux dont il conviendra bien évidemment de faire une copie également aux frais du bailleur; cela ne justifie manifestement pas le recours immédiat. Le recourant ajoute que les intimés seraient même fondés à solliciter ultérieurement une expertise en vue d'un examen global de la comptabilité de l'installation de chauffage de 2001 à 2006; il ne s'agit toutefois là que d'une hypothèse que rien n'étaye en l'état; on peut au contraire penser que le Tribunal des baux et loyers, autorité spécialisée en la matière, sera en mesure de tirer les renseignements nécessaires des pièces produites; au demeurant, une expertise des frais de chauffage ne paraît de prime abord pas être d'une complexité particulière. Les éléments avancés par le recourant ne permettent ainsi pas de retenir que la procédure probatoire à laquelle le Tribunal des baux et loyers devra procéder sera longue et coûteuse au sens de l'art. 93 al. 1 let. b LTF. La voie d'un recours immédiat, que ce soit d'un recours en matière civile ou d'un recours constitutionnel subsidiaire (cf. art. 117 LTF), n'est dès lors pas ouverte en l'espèce. Il s'ensuit l'irrecevabilité des recours.
2. Compte tenu de l'issue du litige, les frais judiciaires et dépens des intimés, créanciers solidaires, sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les recours sont irrecevables.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'500 fr., à payer aux intimés, créanciers solidaires, à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 16 juin 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz