Faits:
A.
Entre mars et juin 2009, V._, par l'intermédiaire de leur régie, ont confié à Z._ les travaux d'aménagement (d'un coût total de 36'348 fr.) du jardin privatif d'un appartement dont elles sont propriétaires au 16, rue ... à Genève.
En juillet 2009, cet appartement a été loué à H.X._ et F.X._, qui ont mandaté Z._ pour qu'il procède à de nouveaux aménagements dans le jardin. Il s'agissait de fournir et de planter des arbustes d'essences différentes, dont une partie provenait de la demeure de la mère de H.X._.
Z._ a entrepris les travaux entre le 30 juillet et le 18 septembre 2009. La facture qu'il a adressé à H.X._ le 6 octobre 2009, d'un montant total de 42'850 fr. TTC, comprend 20'700 fr. HT pour les heures de travail et l'outillage, 240 fr. HT pour l'évacuation des gravats et 19'613 fr. 20 HT de fournitures et plantes.
Le 21 octobre 2009, H.X._ a contesté ce montant et, le 26 novembre 2009, Z._ lui a adressé une facture détaillée de son activité. Ce document indique 414 heures de travail facturées à 22'273 fr.20 TTC et diverses fournitures pour un montant total de 20'318 fr. 53 TTC.
Z._ a également annexé à son courrier une lettre cosignée par ses employés, attestant de la bonne exécution des travaux, et de nombreux justificatifs pour l'achat des fournitures et des plantes facturées. Il a enfin remis au maître de l'ouvrage des devis établis à sa demande par d'autres paysagistes, soit A._, directrice de R._ SA, et B._, administrateur de S._ SA, qui ont évalué les travaux à 48'271 fr.50, respectivement 47'432 fr.75.
Selon une attestation écrite de C._, paysagiste auprès de T._, un total de 369 heures de travail (sans compter le travail effectué au domicile de la mère de H.X._) paraissait cohérent avec le volume de travail, dès lors qu'il s'agissait d'un chantier difficile devant être exécuté à la main.
Le 18 octobre 2010, Z._ a fait notifier à H.X._ un commandement de payer pour un montant de 42'850 fr., avec intérêts à 5% l'an dès le 6 novembre 2009, auquel ce dernier a fait opposition.
Le 19 mars 2012, les époux X._ ont versé la somme de 20'000 fr. à Z._.
B.
Le 25 mai 2011, après l'échec de la conciliation, Z._ a assigné H.X._ et F.X._ en paiement de 42'850 fr., intérêts en sus, et sollicité la mainlevée de l'opposition formée au commandement de payer correspondant.
Les époux X._ se sont opposés à la demande, concluant à ce qu'il leur soit donné acte de ce qu'ils s'engageaient à payer l'ouvrage à un prix qu'ils estimaient devoir être fixé, en application de l'<ref-law>, à 20'000 fr., intérêts en sus. Ils sont d'avis que certaines pièces fournies par l'entrepreneur ne peuvent être prises en compte pour démontrer le prix de l'ouvrage et ils émettent plusieurs critiques quant au nombre d'heures consacrées par les ouvriers de Z._ et au procédé utilisé pour calculer ces heures.
Par jugement du 31 janvier 2013, le Tribunal de première instance a condamné les époux X._ à verser au demandeur la somme de 22'850 fr., intérêts en sus, écarté à concurrence de ce montant l'opposition formée au commandement de payer correspondant et il s'est prononcé sur les frais et les dépens.
Sur appel des défendeurs, la Cour de justice du canton de Genève, par arrêt du 13 septembre 2013, a confirmé le jugement entrepris.
C.
Les époux X._ (les recourants) exercent un recours constitutionnel subsidiaire contre l'arrêt de la Cour de justice. Sous suite de frais et dépens, ils concluent, principalement, à son annulation et à ce qu'il soit réformé en ce sens que Z._ soit débouté de toutes ses conclusions et, subsidiairement, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale.
Z._ (l'intimé) conclut à la confirmation de l'arrêt attaqué, sous suite de frais et dépens.
Les recourants ont répliqué.
La requête d'effet suspensif déposée par les recourants a été rejetée par ordonnance présidentielle du 6 janvier 2014.

Considérant en droit:
1.
1.1. Devant l'autorité précédente, le litige portait sur une somme de 22'850 fr. La valeur litigieuse minimale requise par l'<ref-law> n'étant pas atteinte, le recours en matière civile n'était pas ouvert, étant précisé que l'on ne se trouve dans aucun des cas prévus par l'<ref-law>. C'est donc à juste titre que les recourants ont interjeté un recours constitutionnel subsidiaire, puisque le recours ordinaire ne leur était pas ouvert (<ref-law>).
1.2. Interjeté par la partie qui a succombé dans ses conclusions libératoires et qui a un intérêt juridique à l'annulation ou à la modification de la décision (<ref-law>), le recours déposé dans le délai (art. 117 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi, est en principe recevable, puisqu'il est dirigé contre un arrêt final (art. 117 et 90 LTF) rendu par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>).
1.3. Le recours subsidiaire ne peut être interjeté que pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral ne peut examiner la violation d'un droit de rang constitutionnel que si le grief a été invoqué et suffisamment motivé dans l'acte de recours (art. 117 et 106 al. 2 LTF; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 3.2 p. 444).
1.4. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que s'ils ont été établis en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que la partie recourante doit invoquer avec précision (art. 117 et 106 al. 2 LTF).
2.
2.1. Les recourants estiment que certaines constatations ont été établies de façon manifestement inexacte et incomplète, soit de manière arbitraire (art. 9 Cst.).
L'appréciation des preuves et l'établissement des faits ne peuvent être considérés comme arbitraires que si le juge ne prend pas en compte, sans aucune raison sérieuse, un élément propre à modifier la décision, lorsqu'il se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, il en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9).
2.2. S'agissant de l'achat d'un olivier, les recourants reprochent à la cour cantonale d'avoir sombré dans l'arbitraire en retenant un prix de 1'500 fr. (résultant de la facture détaillée envoyée par l'intimé le 26 novembre 2009), alors que le justificatif y relatif a été établi par le fournisseur (pépiniériste) une année après l'acquisition de l'arbre (le 28 octobre 2010). Le montant de 1'500 fr. a toutefois été attesté par le pépiniériste, entendu à titre de témoin. Il n'était dès lors pas arbitraire, malgré le flou subsistant quant à la date de l'établissement du justificatif, de retenir ce montant, ce d'autant plus que le témoin a clairement confirmé les allégués de l'intimé selon lesquels les recourants ont finalement souhaité un olivier plus cher que celui choisi initialement (d'un montant de 1'200 fr.).
C'est de manière purement appellatoire qu'ils ajoutent que le document en question " a été préparé pour les besoins de la cause ". La critique est irrecevable.
Les recourants reviennent sur le prix des magnolias facturés à 1'250 fr. et livrés le 25 août 2009. Ils sont d'avis que la facture établie antérieurement (le 29 juillet 2009) par le fournisseur (U._), ne pouvait servir de preuve et que, contrairement à ce qu'affirme la cour cantonale, cette différence dans les dates ne peut s'expliquer par le fait que l'intimé se serait constitué un stock avant de livrer les plantes. L'argument selon lequel, dans l'hypothèse de l'existence d'un stock auprès de l'intimé, la recourante aurait choisi les magnolias auprès de ce dernier (et non à U._), est sans consistance. Le fait que la recourante ait choisi les plantes à U._ n'exclut pas que celles-ci aient pu être conservées pendant une certaine période dans le stock de l'intimé.
Le moyen est infondé.
2.3. Les recourants tentent ensuite de démontrer l'arbitraire de la cour précédente, en relevant de prétendues contradictions entre les quantités de fourniture (en particulier la terre végétale) facturées (le 6 octobre 2009) et celles qui ont été acheminées par le transporteur.
Ils se bornent principalement à exposer leur propre appréciation des preuves, sans revenir précisément sur l'argumentation fournie par la cour cantonale, et la recevabilité du moyen est dès lors fort douteuse.
Les volumes de terre facturés par l'intimé ont quoi qu'il en soit été confirmés par les témoins A._ et B._. L'argumentation des recourants à ce sujet, axée exclusivement sur les quantités de terre transportées, est impropre à démontrer qu'il était insoutenable de se fonder sur les déclarations de ces spécialistes (cf. à ce sujet encore infra consid. 2.6). En effet, la différence entre la quantité de terre facturée et celle ayant fait l'objet d'un transport n'a pas été ignorée par la cour cantonale, celle-ci expliquant, s'agissant notamment de la terre végétale, que le prix finalement facturé aux recourants (1'490 fr. 26) était moins important que celui figurant dans la facture du 6 octobre 2009 (2'058 fr.50). Les recourants ne contestent pas cette motivation et il n'y a pas lieu d'y revenir (cf. supra consid. 1.4).
Quant à la différence de volume constatée entre les chiffres avancés par l'intimé s'agissant de la terre évacuée et ramenée et les indications fournies par l'entreprise de transport, la question a été maintes fois discutée dans la procédure cantonale. Selon l'arrêt entrepris, la différence s'explique par le phénomène du foisonnement (fait que la terre, une fois brassée, prend plus de volume). Les recourants ne critiquent pas ce point de fait et il n'y a pas lieu de l'examiner.
Le moyen, pour autant que recevable, est infondé.
2.4. Revenant à la charge, les recourants invoquent une violation du droit d'être entendu garanti par l'art. 29 al. 2 Cst., soutenant que la cour cantonale n'a pas mentionné que les arbres et les plantes auraient été plantés dans leur jardin avec leurs mottes de terre.
La jurisprudence a déduit du droit d'être entendu, en particulier le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 2.2 p. 504 s.).
En l'espèce, les recourants ne prétendent pas qu'ils auraient été empêchés de s'exprimer devant l'autorité précédente et de faire valoir leurs moyens devant elle; en particulier, ils ne soutiennent pas que la cour cantonale aurait refusé sans raison une preuve régulièrement offerte. Les recourants se bornent à critiquer la manière dont les preuves ont été appréciées (en particulier un fait prétendument allégué et prouvé qui n'aurait pas été pris en compte), ce qui est sans rapport avec le droit d'être entendu.
Ce grief, tel qu'il est présenté (<ref-law>), est donc dépourvu de tout fondement.
2.5. Concernant les heures de travail, les recourants demandent que l'état de fait dressé par la cour cantonale soit complété, notamment qu'il soit retenu que le nombre d'heures mis à leur charge (414 heures) est excessif comparé aux heures facturées en lien avec le chantier exécuté à l'époque en faveur des propriétaires (cf. supra let. A). A titre d'argumentation, ils se limitent à présenter des extraits de diverses pièces, sans se plier aux exigences strictes pourtant posées en matière de recevabilité du recours constitutionnel subsidiaire (cf. supra consid. 1.4).
Toujours en lien avec les heures de travail, les recourants reprochent à la cour cantonale d'avoir établi le nombre d'heures facturées en se fondant sur les devis établis par des collègues de l'intimé (A._, C._ et B._); ils insistent sur le fait que, selon la jurisprudence, les déclarations écrites de ces " pseudo-experts " ne sont ni des témoignages, ni des titres, mais de simples expertises privées, considérées comme des allégués d'une partie. Dans ce contexte, ils invoquent une violation arbitraire de l'<ref-law>. Quant aux déclarations de l'employé de l'intimé (qui accréditent l'exactitude du nombre d'heures facturées et leur adéquation avec les travaux effectués), les recourants estiment qu'il était arbitraire d'en tenir compte, étant donné qu'il résulte de l'arrêt entrepris que l'employé " n'avait pas vu toutes les factures ".
Une expertise privée n'a pas la même valeur qu'une expertise judiciaire (<ref-ruling> consid. 3c p. 354). La jurisprudence ne lui reconnaît en principe pas de force probante particulière; elle doit être considérée comme de simples allégations d'une partie (cf. <ref-ruling> consid. 3.4; arrêt 4A_58/2008 du 28 avril 2008 consid. 5.3). Le fait qu'une expertise privée n'ait pas la même valeur qu'une expertise judiciaire ne signifie toutefois pas encore que toute référence à une expertise privée dans un jugement soit constitutive d'arbitraire. Il se peut en effet que ladite expertise ne soit pas contestée sur certains points ou encore qu'elle se révèle convaincante, à l'instar d'une déclaration de partie; il est également possible que l'expert privé, entendu comme témoin, confirme des éléments de fait précis de son rapport (4A_58/2008 déjà cité consid. 5.3 et les auteurs cités).
Il s'ensuit que, contrairement à ce que les recourants prétendent, la seule mention des expertises privées à titre de moyens de preuve ne procède pas déjà d'une application arbitraire de l'<ref-law>. Autre est la question de savoir si, en se fondant sur une expertise privée dans un cas précis, le juge s'est livré à une appréciation arbitraire des preuves.
2.6. Les recourants soutiennent précisément que les constatations cantonales sur le nombre d'heures facturées relèvent d'une appréciation arbitraire des preuves.
On ne saurait les suivre sur ce point. En l'occurrence, il est certes exact que les paysagistes ont été mandaté par une partie (l'intimé), mais ils ont ensuite tous été entendus à titre de témoins par le juge, chacune des parties ayant la possibilité de confronter ceux-ci à leurs estimations écrites respectives. Les professionnels entendus, relevant la complexité des travaux, ont tous confirmé que le montant facturé aux recourants se justifiait eu égard au volume de travail sur le chantier en question. On peut relever à cet égard que les estimations effectuées par A._ (48'271 fr.) et B._ (47'432 fr.) révèlent même un montant supérieur à celui facturé par l'intimé pour son travail (42'850 fr.).
On ne saurait donc reprocher à la cour cantonale d'avoir fait preuve d'arbitraire en considérant que les estimations concordantes des paysagistes se révèlent convaincantes, ce d'autant plus que la complexité des travaux due à l'accès difficile du chantier, la nécessité d'une main-d'oeuvre qualifiée et les précautions particulières à prendre pour ce type d'ouvrage (cf. arrêt entrepris consid. 3.2 p. 13) ont été corroborés par les déclarations du transporteur qui est intervenu sur place.
S'agissant du témoignage de l'employé, l'argument soulevé par les recourants n'est pas de nature à infirmer la conclusion qui précède. Même si l'arrêt entrepris (let. h p. 4) retient effectivement que l'employé n'a pas vu toutes les factures, on doit comprendre qu'il en a vu certaines et qu'il a accrédité, à tout le moins pour celles-ci, l'exactitude du nombre d'heures facturées et de leur adéquation avec les travaux effectués (cf. arrêt entrepris let. h p. et consid. 3.2 p. 13).
Le moyen soulevé est infondé.
2.7. Les recourants considèrent que l'intimé n'a pas apporté la preuve des heures qu'il a consacrées à l'ouvrage. Ils reviennent sur les déclarations des paysagistes, estimant qu'elles sont " contradictoires avec celle de l'intimé ". Ils se bornent à présenter leur propre appréciation des preuves, sans indiquer en quoi le résultat auquel parvient la cour cantonale serait arbitraire (cf. supra consid. 2.1). La critique est irrecevable.
L'autorité précédente s'étant forgée une conviction quant au nombre d'heures facturées, il n'y a, contrairement à ce que pensent les recourants, plus de place pour une application (arbitraire) de l'<ref-law> qui concerne le fardeau de la preuve. Quant au grief de violation arbitraire de l'<ref-law>, soulevé dans le même contexte sans motivation distincte, il tombe également à faux.
Il n'est dès lors pas nécessaire d'examiner l'argument supplémentaire fourni par l'intimé dans sa réponse (visant à confirmer que le raisonnement de la cour cantonale n'était pas arbitraire) selon lequel des fiches de travail journalières (indiquant la nature des travaux effectués et le nombre d'heures exécutés) ont été remises aux recourants entre le 30 juillet et le 18 septembre 2009 et que ceux-ci n'ont alors pas soulevé la moindre contestation quant au contenu de ces fiches (cf. encore à ce sujet infra consid. 2.8).
2.8. Dans leur réplique, les recourants soutiennent que l'intimé savait que les fiches de travail ne leur avaient pas été remises quotidiennement durant la période des travaux, mais seulement " en bloc " par un envoi de l'intimé le 17 octobre 2009 (indiquant que le " descriptif des travaux de plantation dans le jardin " était envoyé " comme convenu "). Ils sollicitent la condamnation à l'amende de l'intimé et/ou son conseil pour avoir allégué dans sa réponse un fait qu'il savait inexact (cf. <ref-law>)
La compétence de prononcer des sanctions disciplinaires est du ressort exclusif du Tribunal fédéral. La conclusion des recourants tendant à ce qu'une peine disciplinaire soit prise à l'encontre de son adversaire est donc irrecevable (arrêt 5D_80/2012 du 20 juillet 2012 consid. 5).
Au demeurant, il n'y a pas matière à infliger une amende disciplinaire à l'intimé ou à son mandataire, le manquement allégué par les recourants n'étant pas établi. Il ne résulte en effet pas du dossier que l'intimé est de mauvaise foi lorsqu'il affirme que les recourants ont reçu quotidiennement (entre le 30 juillet et le 18 septembre 2009) les fiches de travail journalières remplies par les employés de l'intimé. Force est de constater que ces pièces étaient effectivement en possession des recourants (cf. pièce 3 défendeurs) et qu'il ne résulte pas clairement du courrier du 17 octobre 2009 fourni par ceux-ci dans leur réplique que ce serait seulement au moment de cet envoi que l'intimé leur aurait remis en annexe les fiches en question.
3.
Il résulte des considérations qui précèdent que le recours doit être rejeté dans la mesure où il est recevable.
Les frais et dépens sont mis solidairement à la charge des recourants, qui succombent (art. 66 al. 1 et 5, art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à l'intimé une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 26 février 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget