Faits:
A. X._ Sàrl a été fondée en avril 2002 par A._ et B._, chacun souscrivant une part sociale de 10'000 fr.; elle avait pour but l'exploitation d'une centrale de taxis sur le territoire européen.
Le 7 juin 2002, A._ et C._ ont convenu par écrit que ce dernier reprenait la société pour le prix de 20'000 fr., à l'exclusion de toute dette contractée auparavant par A._.
Par acte authentique du 11 juillet 2002, A._ et B._ ont chacun cédé leur part sociale, respectivement, à C._ et à D._, l'un et l'autre pour le prix de 10'000 francs. Il était précisé que les cessionnaires succédaient dès ce même jour aux cédants dans les droits et obligations inhérents aux parts sociales.
Dès le 16 juillet 2002, les cessionnaires ont été inscrits sur le registre du commerce en qualité d'associés gérants.
Par la suite, C._ a fait notifier plusieurs commandements de payer à A._ et à B._.
B. Le 1er octobre 2009, ceux-ci ont ouvert action contre C._ devant le Tribunal de première instance du canton de Genève. Le tribunal était requis d'annuler huit poursuites et de prononcer que les demandeurs ne devaient pas 23'571 fr.80 avec intérêts au taux de 6% par an dès le 11 juillet 2002, ni aucune autre somme au défendeur.
Celui-ci a conclu, en substance, au rejet de l'action, et il a introduit une action reconventionnelle. Les demandeurs devaient être condamnés à payer 23'571 fr.80 avec intérêts au taux de 5% par an dès le 11 juillet 2002; à concurrence de ce montant, le tribunal devait donner mainlevée définitive des oppositions dans les poursuites nos 09116727 N et 09116728 M entreprises contre eux.
Le tribunal s'est prononcé le 7 avril 2011. Il a déclaré la demande d'annulation de poursuites irrecevable et il a condamné A._à payer 10'451 fr.31 avec intérêts au taux de 5% par an dès le 11 juillet 2002. Il a débouté les parties de toutes autres conclusions.
La Cour de justice a statué le 18 novembre 2011 sur l'appel des demandeurs; elle a confirmé le jugement.
C. Agissant par la voie du recours constitutionnel, les demandeurs requièrent le Tribunal fédéral de réformer l'arrêt de la Cour de justice en ce sens qu'ils ne soient pas débiteurs de 10'451 fr.31 avec intérêts et que les poursuites nos 09116727 N et 09116728 M soient radiées.
Le défendeur conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet.

Considérant en droit:
1. Le recours est dirigé contre un jugement rendu en matière civile (<ref-law>) mais la valeur litigieuse n'atteint pas le minimum légal de 30'000 fr. (art. 51 al. 1 let. a et 74 al. 1 let. b LTF). Les demandeurs ne prétendent pas que la contestation soulève une question juridique de principe (art. 42 al. 2 et 74 al. 2 let. a LTF) et aucun des autres cas de dispense de la valeur litigieuse ne se trouve réalisé (art. 74 al. 2 let. b à e LTF); en conséquence, la cause n'est susceptible que du recours constitutionnel subsidiaire (<ref-law>), à l'exclusion du recours ordinaire en matière civile. Le recours est dirigé contre un jugement final, rendu en dernière instance cantonale (art. 75 al. 1, 90 et 117 LTF). Les demandeurs ont pris part à l'instance précédente et ils ont succombé dans des conclusions concernant leur patrimoine personnel (<ref-law>). Introduit en temps utile (art. 100 al. 1 et 117 LTF) et dans les formes requises (art. 42 al. 1 à 3 LTF), le recours constitutionnel est en principe recevable.
Le recours constitutionnel ne peut être exercé que pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral ne se saisit que des griefs soulevés et motivés de façon détaillée par la partie recourante (art. 106 al. 2 et 117 LTF; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 2.2 p. 246; <ref-ruling> consid. 3.2 p. 444).
2. Les demandeurs invoquent exclusivement la protection contre l'arbitraire conférée par l'art. 9 Cst.
Une décision est arbitraire, donc contraire à cette disposition constitutionnelle, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables; il faut encore que celle-ci soit arbitraire dans son résultat. Il ne suffit d'ailleurs pas non plus qu'une solution différente de celle retenue par l'autorité cantonale puisse être tenue pour également concevable ou apparaisse même préférable (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 1.3 p. 4/5).
En matière d'appréciation des preuves et de constatation des faits, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en considération, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, sur la base des éléments recueillis, elle parvient à des constatations insoutenables (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 2.1).
Selon la jurisprudence relative aux art. 106 al. 2 ou 116 LTF, celui qui se plaint d'arbitraire doit indiquer de façon précise en quoi la décision qu'il attaque est entachée d'un vice grave et indiscutable; à défaut, le grief est irrecevable (<ref-ruling> consid. 1.4.3 p. 254; <ref-ruling> consid. 3.2 p. 400; <ref-ruling> consid. 2.8 p. 494).
3. En l'état de la cause, la contestation porte exclusivement sur l'action reconventionnelle du défendeur.
Les autorités précédentes lui allouent, en capital, 10'451 fr.31 pour remboursement de diverses charges d'exploitation qui incombaient à X._ Sàrl et qu'il a personnellement supportées avant le transfert des parts sociales intervenu le 11 juillet 2002.
Les demandeurs affirment que leur adverse partie devait assumer les dettes sociales non seulement dès l'acte authentique du 11 juillet 2002 mais déjà dès la cession écrite conclue le 7 juin précédent. Au regard de l'art. 791 al. 4 aCO alors applicable à la cession de parts sociales d'une société à responsabilité limitée, cette cession a été jugée nulle pour vice de forme. Les demandeurs ne tentent pas de mettre en évidence une application éventuellement arbitraire de cette disposition; ils se réfèrent seulement à l'<ref-law> et font état de la « volonté réciproque et concordante » des cocontractants. Ce moyen est dénué de pertinence car nul n'a mis en doute qu'une cession de parts sociales eût été effectivement convenue le 7 juin 2002.
A titre subsidiaire, les demandeurs affirment que leur adverse partie a perçu des produits d'exploitation au total de 6'850 fr., soit des cotisations d'exploitants de taxis affiliés à X._ Sàrl, et que les autorités précédentes ont omis de les porter en déduction des charges qu'elles ont constatées. Or, comme souligné dans la réponse au recours, les demandeurs n'ont à aucun moment allégué ces produits censément encaissés par le défendeur, et de plus, la pièce désignée ne révèle pas sans équivoque que les cotisations concernées aient profité à celui-ci plutôt qu'à la société. Il n'apparaît donc pas que la Cour de justice ait constaté arbitrairement les prétentions réciproques à prendre en considération.
4. Le recours se révèle privé de fondement, ce qui conduit à son rejet. A titre de parties qui succombent, ses auteurs doivent acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels leur adverse partie peut prétendre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les demandeurs acquitteront un émolument judiciaire de 2'000 francs.
3. Les demandeurs verseront une indemnité de 2'500 fr. au défendeur, solidairement entre eux, à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève.
Lausanne, le 27 mars 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente: Klett
Le greffier: Thélin