Faits: A. Entre mars et juin 2009, V._, par l'intermédiaire de leur régie, ont confié à Z._ les travaux d'aménagement (d'un coût total de 36'348 fr.) du jardin privatif d'un appartement dont elles sont propriétaires au 16, rue ... à Genève. En juillet 2009, cet appartement a été loué à H.X._ et F.X._, qui ont mandaté Z._ pour qu'il procède à de nouveaux aménagements dans le jardin. Il s'agissait de fournir et de planter des arbustes d'essences différentes, dont une partie provenait de la demeure de la mère de H.X._. Z._ a entrepris les travaux entre le 30 juillet et le 18 septembre 2009. La facture qu'il a adressé à H.X._ le 6 octobre 2009, d'un montant total de 42'850 fr. TTC, comprend 20'700 fr. HT pour les heures de travail et l'outillage, 240 fr. HT pour l'évacuation des gravats et 19'613 fr. 20 HT de fournitures et plantes. Le 21 octobre 2009, H.X._ a contesté ce montant et, le 26 novembre 2009, Z._ lui a adressé une facture détaillée de son activité. Ce document indique 414 heures de travail facturées à 22'273 fr.20 TTC et diverses fournitures pour un montant total de 20'318 fr. 53 TTC. Z._ a également annexé à son courrier une lettre cosignée par ses employés, attestant de la bonne exécution des travaux, et de nombreux justificatifs pour l'achat des fournitures et des plantes facturées. Il a enfin remis au maître de l'ouvrage des devis établis à sa demande par d'autres paysagistes, soit A._, directrice de R._ SA, et B._, administrateur de S._ SA, qui ont évalué les travaux à 48'271 fr.50, respectivement 47'432 fr.75. Selon une attestation écrite de C._, paysagiste auprès de T._, un total de 369 heures de travail (sans compter le travail effectué au domicile de la mère de H.X._) paraissait cohérent avec le volume de travail, dès lors qu'il s'agissait d'un chantier difficile devant être exécuté à la main. Le 18 octobre 2010, Z._ a fait notifier à H.X._ un commandement de payer pour un montant de 42'850 fr., avec intérêts à 5% l'an dès le 6 novembre 2009, auquel ce dernier a fait opposition. Le 19 mars 2012, les époux X._ ont versé la somme de 20'000 fr. à Z._. B. Le 25 mai 2011, après l'échec de la conciliation, Z._ a assigné H.X._ et F.X._ en paiement de 42'850 fr., intérêts en sus, et sollicité la mainlevée de l'opposition formée au commandement de payer correspondant. Les époux X._ se sont opposés à la demande, concluant à ce qu'il leur soit donné acte de ce qu'ils s'engageaient à payer l'ouvrage à un prix qu'ils estimaient devoir être fixé, en application de l'art. 374 CO, à 20'000 fr., intérêts en sus. Ils sont d'avis que certaines pièces fournies par l'entrepreneur ne peuvent être prises en compte pour démontrer le prix de l'ouvrage et ils émettent plusieurs critiques quant au nombre d'heures consacrées par les ouvriers de Z._ et au procédé utilisé pour calculer ces heures. Par jugement du 31 janvier 2013, le Tribunal de première instance a condamné les époux X._ à verser au demandeur la somme de 22'850 fr., intérêts en sus, écarté à concurrence de ce montant l'opposition formée au commandement de payer correspondant et il s'est prononcé sur les frais et les dépens. Sur appel des défendeurs, la Cour de justice du canton de Genève, par arrêt du 13 septembre 2013, a confirmé le jugement entrepris. C. Les époux X._ (les recourants) exercent un recours constitutionnel subsidiaire contre l'arrêt de la Cour de justice. Sous suite de frais et dépens, ils concluent, principalement, à son annulation et à ce qu'il soit réformé en ce sens que Z._ soit débouté de toutes ses conclusions et, subsidiairement, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale. Z._ (l'intimé) conclut à la confirmation de l'arrêt attaqué, sous suite de frais et dépens. Les recourants ont répliqué. La requête d'effet suspensif déposée par les recourants a été rejetée par ordonnance présidentielle du 6 janvier 2014.