Faits:
A. Depuis octobre 2004 au plus tôt, X._ occupe à titre de locataire un appartement de quatre pièces au cinquième étage d'un bâtiment sis route .... à Carouge. Le loyer initial, au montant de 1'300 fr. par mois, ne lui a pas été communiqué sur formule officielle.
B. Le 26 novembre 2007, devant la commission de conciliation compétente puis devant le Tribunal des baux et loyers du canton de Genève, la locataire a ouvert action contre A._ et B._. Le tribunal était requis de constater que A._ est le cocontractant de la demanderesse; le tribunal était aussi requis de fixer le loyer initial à 853 fr. par mois et de condamner les défendeurs à rembourser le trop-perçu et, de plus, un montant de 2'000 fr. encaissé à titre de garantie par B._, avec intérêts au taux de 5% par an dès le 1er octobre 2004.
Le tribunal s'est prononcé le 22 septembre 2009. Il a rejeté l'action en tant que celle-ci était intentée à A._ et il a fixé le loyer initial de l'appartement à 1'300 fr. par mois dès le 1er octobre 2004. Le tribunal a jugé qu'un bail principal lie A._ à B._ et qu'un bail de sous-location lie celle-ci à la demanderesse, et il a fixé le loyer de cette sous-location à égalité avec loyer principal.
La Chambre d'appel en matière de baux et loyers a statué le 11 avril 2011 sur l'appel de la demanderesse. Elle a annulé le jugement et renvoyé la cause au tribunal pour complément d'instruction et nouveau jugement. Le complément d'instruction doit porter d'abord sur la qualité pour défendre de A._; le tribunal devra procéder à un nouvel interrogatoire des parties et, le cas échéant, à l'audition des témoins supplémentaires que la demanderesse proposera. Dans l'hypothèse où la qualité de bailleur serait attribuée à A._, le tribunal devra recueillir les éléments nécessaires à une nouvelle fixation du loyer initial.
C. Agissant conjointement par la voie du recours en matière civile, les défendeurs requièrent le Tribunal fédéral d'annuler l'arrêt de la Chambre d'appel et de confirmer le jugement du Tribunal des baux et loyers.

Considérant en droit:
1. Le recours au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure (<ref-law>). Il est aussi recevable contre les décisions préjudicielles ou incidentes communiquées séparément de la décision finale, lorsque, parmi d'autres cas, le succès du recours peut conduire immédiatement à une décision finale, et éviter ainsi une procédure probatoire longue et coûteuse (<ref-law>).
Selon la jurisprudence, il incombe à la partie recourante d'établir, si cela n'est pas manifeste, qu'une décision finale immédiate permettrait d'éviter une procédure probatoire longue et coûteuse; cette partie doit indiquer de manière détaillée, en particulier, quelles questions de fait sont encore litigieuses, et quelles preuves, déjà offertes ou requises, doivent encore être administrées, et en quoi celles-ci entraîneraient une procédure probatoire longue et coûteuse (<ref-ruling> consid. 2.4.2 p. 633).
Il est constant que la décision attaquée ne termine pas le procès entrepris contre les défendeurs. Si le Tribunal fédéral accueillait le recours de ces derniers et confirmait le jugement de première instance, cela constituerait une décision finale. En revanche, un nouvel interrogatoire des parties, l'audition éventuelle de quelques témoins supplémentaires et l'enquête préalable à une nouvelle fixation du loyer de l'appartement ne constituent certainement pas une procédure probatoire longue et coûteuse aux termes de l'<ref-law>. Contrairement à l'argumentation des défendeurs, la durée de la procédure déjà accomplie et leurs motifs de critiquer l'appréciation de la Chambre d'appel sont dépourvus de pertinence au regard de cette dernière disposition.
Il s'ensuit que le recours doit être déclaré irrecevable selon la procédure de l'<ref-law>.
2. A titre de parties qui succombent, les défendeurs doivent acquitter l'émolument à percevoir par le Tribunal fédéral.

Par ces motifs, la Présidente de la Cour prononce:
1. Le recours est irrecevable.
2. Les défendeurs acquitteront un émolument judiciaire de 1'000 fr., solidairement entre eux.
3. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 6 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente: Le greffier:
Klett Thélin