Faits: A. X._ Sàrl a été fondée en avril 2002 par A._ et B._, chacun souscrivant une part sociale de 10'000 fr.; elle avait pour but l'exploitation d'une centrale de taxis sur le territoire européen. Le 7 juin 2002, A._ et C._ ont convenu par écrit que ce dernier reprenait la société pour le prix de 20'000 fr., à l'exclusion de toute dette contractée auparavant par A._. Par acte authentique du 11 juillet 2002, A._ et B._ ont chacun cédé leur part sociale, respectivement, à C._ et à D._, l'un et l'autre pour le prix de 10'000 francs. Il était précisé que les cessionnaires succédaient dès ce même jour aux cédants dans les droits et obligations inhérents aux parts sociales. Dès le 16 juillet 2002, les cessionnaires ont été inscrits sur le registre du commerce en qualité d'associés gérants. Par la suite, C._ a fait notifier plusieurs commandements de payer à A._ et à B._. B. Le 1er octobre 2009, ceux-ci ont ouvert action contre C._ devant le Tribunal de première instance du canton de Genève. Le tribunal était requis d'annuler huit poursuites et de prononcer que les demandeurs ne devaient pas 23'571 fr.80 avec intérêts au taux de 6% par an dès le 11 juillet 2002, ni aucune autre somme au défendeur. Celui-ci a conclu, en substance, au rejet de l'action, et il a introduit une action reconventionnelle. Les demandeurs devaient être condamnés à payer 23'571 fr.80 avec intérêts au taux de 5% par an dès le 11 juillet 2002; à concurrence de ce montant, le tribunal devait donner mainlevée définitive des oppositions dans les poursuites nos 09116727 N et 09116728 M entreprises contre eux. Le tribunal s'est prononcé le 7 avril 2011. Il a déclaré la demande d'annulation de poursuites irrecevable et il a condamné A._à payer 10'451 fr.31 avec intérêts au taux de 5% par an dès le 11 juillet 2002. Il a débouté les parties de toutes autres conclusions. La Cour de justice a statué le 18 novembre 2011 sur l'appel des demandeurs; elle a confirmé le jugement. C. Agissant par la voie du recours constitutionnel, les demandeurs requièrent le Tribunal fédéral de réformer l'arrêt de la Cour de justice en ce sens qu'ils ne soient pas débiteurs de 10'451 fr.31 avec intérêts et que les poursuites nos 09116727 N et 09116728 M soient radiées. Le défendeur conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet.