Faits : A. A.a. B._, qui exploite en raison individuelle une entreprise de maçonnerie, a soumis à B.A._, architecte, et à son épouse A.A._, laquelle est propriétaire du terrain sur lequel sont construits une villa et un garage à X._ (ci-après: les maîtres de l'ouvrage), deux soumissions datées du 5 juillet 2005 pour la transformation de dite villa (pour les travaux de démolition: 35'787 fr. 40 et pour les travaux de maçonnerie: 55'820 fr. 70), les rabais et escomptes restant à discuter. Les " conditions spéciales et remarques " de ces soumissions prévoient notamment que les " rabais et escomptes consentis seront applicables à tous les travaux imprévus, supplémentaires ou en régie à l'exception des hausses ". En outre, l'exécution des travaux sera conforme aux normes SIA, en particulier à la norme SIA 118. A.b. Se référant à l'offre du 6 (recte: 5) juillet 2005, les maîtres de l'ouvrage ont adjugé, après discussion, ces travaux à B._ le 13 juillet 2005, en tenant compte d'un rabais de 21% et d'un escompte de 3% (d'un prorata de 1%, d'assurance TC de 0,3%, la TVA à 7,6 % étant en sus), soit pour le montant forfaitaire arrondi de 70'200 fr. Il a été précisé que les prix, conditions ou rabais consentis pour l'adjudication des travaux sont applicables sur l'ensemble de tous les travaux, plus-values y compris, ainsi que sur les factures complémentaires. En outre, l'exécution des travaux devait être conforme à toutes les prescriptions et normes relatives aux travaux exécutés, en particulier à la norme SIA 118. A.c. En 2006, les maîtres de l'ouvrage ont commandé d'autres travaux qui ont fait l'objet de trois devis des 3 mars (5'397 fr. 20 pour doublage et isolation des murs de façades extérieurs), 14 juin (3'215 fr. 10 pour construction d'un radier, d'un mur pour douche extérieure et vestiaire) et 26 juillet 2006 (9'931 fr. 50 pour réalisation de murs et d'un socle de portail d'entrée). A.d. D'autres travaux ont encore été exécutés sans avoir fait l'objet de devis. L'entrepreneur a envoyé régulièrement ses rapports de chantier - indiquant les unités et quantités (sans prix) - pour information aux maîtres de l'ouvrage. Le prix de ces travaux supplémentaires est litigieux entre parties. A.e. Le 21 novembre 2007, l'entrepreneur a adressé aux maîtres de l'ouvrage une facture pour tous les travaux d'un montant de 251'894 fr. 20 brut. Le prix brut s'entend hors rabais et escomptes et sans TVA. Les maîtres de l'ouvrage l'ont contestée, estimant qu'elle n'était ni détaillée ni conforme aux conditions du contrat et que l'entrepreneur n'avait pas fourni de décompte détaillé, poste par poste, de tous les travaux supplémentaires effectués. Compte tenu des acomptes versés, l'entrepreneur réclame encore 98'699 fr. 40, alors que les maîtres de l'ouvrage ne reconnaissent qu'un montant de 2'134 fr. 10. L'entrepreneur a fait notifier deux commandements de payer aux maîtres de l'ouvrage pour le montant réclamé (poursuite n° xxx et n° yyy de l'Office des poursuites de Nyon-Rolle), qui y ont fait opposition. Les maîtres de l'ouvrage se sont acquittés du montant de 2'134 fr. 10. B. Par demande (rectifiée) du 19 avril 2010, l'entrepreneur a ouvert action en paiement contre les maîtres de l'ouvrage devant le Tribunal de première instance de Genève. Il a conclu à ce que ceux-ci soient condamnés solidairement à lui payer le montant de 128'699 fr. 40 avec intérêts à 5% l'an dès le 21 décembre 2007, sous déduction des acomptes de 30'000 fr. et 2'134 fr. 10, et à ce que la mainlevée définitive des oppositions aux commandements de payer lui soit accordée à concurrence de ces montants. Un expert a été nommé par le tribunal le 6 octobre 2010. Il a déposé son rapport principal le 11 mai 2011. Partant du montant de 251'894 fr. 20 réclamé par le demandeur, il en a déduit les travaux adjugés et devisés, puis ajustant certains prix unitaires, il a déterminé que le coût total des travaux était de 221'123 fr. 75 brut, comprenant des travaux supplémentaires se montant à 133'872 fr. 15 brut calculés sur la base du mode du prix en régie et des rapports de travail de l'entrepreneur, faute d'établissement d'offre au préalable. Il n'a pas pu dire si le temps de travail indiqué dans les rapports de travail était correct, mais a relevé que la direction des travaux, en l'occurrence le défendeur, n'en a jamais contesté le contenu. Pour répondre aux questions posées par les défendeurs, l'expert a établi un rapport complémentaire le 28 février 2012. Adoptant la méthode de calcul de la norme SIA 118, préconisée par ceux-ci, l'expert a abandonné le principe de l'adjudication à prix forfaitaire et, pour l'ensemble des travaux, a utilisé de manière étendue les prix unitaires et les métrés, obtenant un coût total de l'ensemble des travaux de 175'722 fr. 50 brut. Par jugement du 11 octobre 2012, le Tribunal d'arrondissement de La Côte a condamné solidairement les défendeurs à payer au demandeur la somme de 37'237 fr. 05 avec intérêts à 5% l'an dès le 2 juillet 2008 et prononcé la mainlevée définitive des oppositions aux commandements de payer notifiés aux deux débiteurs à concurrence du montant précité. En bref, il a considéré que les travaux selon les trois devis complémentaires et les autres travaux supplémentaires ont été sans commune mesure avec le projet d'origine, de sorte que le demandeur pouvait prétendre au paiement de ces travaux en sus; il s'est rallié à l'expertise complémentaire et a admis que le montant total de l'ensemble des travaux est de 175'722 fr. 50 brut; déduction faites des rabais et escomptes, TVA en sus, et déduction des acomptes, le solde à payer est de 37'237 fr. 05. La Cour d'appel civile a, par arrêt du 20 août 2012, partiellement admis l'appel du demandeur et a réformé le jugement attaqué. Elle a augmenté la somme que les défendeurs doivent payer solidairement au demandeur à 73'386 fr. 40 avec intérêts à 5% l'an dès le 2 juillet 2008, prononçant la mainlevée définitive des oppositions à concurrence de ce nouveau montant. Elle s'est ralliée à l'expertise principale et a admis que le montant total de l'ensemble des travaux est de 221'123 fr. 75 brut; le solde dû est de 73'386 fr. 40. C. Le 12 février 2015, les défendeurs ont interjeté un recours en matière civile au Tribunal fédéral contre cet arrêt, concluant à ce qu'ils ne soient condamnés à payer que le montant de 35'295 fr. 30 avec intérêts à 5% l'an dès le 2 juillet 2008, la mainlevée définitive n'étant accordée que pour ce montant. Ils invoquent la violation des art. 18 et 374 CO, l'arbitraire dans l'établissement et l'appréciation des faits (art. 9 Cst.) et la violation des règles relatives au fardeau de la preuve (art. 8 CC). L'intimé a conclu au rejet du recours. Les recourants ont encore déposé de brèves observations. L'effet suspensif a été attribué au recours par ordonnance présidentielle du 27 avril 2015.