Faits :
A.
A.a. Par contrat signé le 17 juillet 1998, A.X._ et B.X._ (ci-après: les propriétaires) ont confié à Z._ (ci-après: l'architecte) la tâche de réaliser une maison d'habitation familiale avec garage, aménagements extérieurs, chemin d'accès et piscine à... (Vaud).
La villa, de style contemporain et construite en béton blanc, présente une particularité au niveau de la toiture, qui s'élève à chaque extrémité du bâtiment. La maison comporte une terrasse couverte par un toit en pente, d'une hauteur maximale de 8 mètres et minimale de 6,5 mètres environ. Cette terrasse, fermée du côté nord, semi-ouverte du côté sud et complètement ouverte à l'ouest, constitue une des spécificités de la demeure litigieuse, soit, selon l'expert, " un espace extérieur couvert prolongeant un espace intérieur ".
Il résulte de l'arrêt cantonal, ainsi que du dossier (complètement d'office: art. 105 al. 2 LTF), que la création de l'architecte a fait l'objet de plusieurs publications dans des magazines spécialisés entre 2002 et 2008.
Il ressort des constatations cantonales (qui reflètent l'avis de l'expert judiciaire mandaté en cours de procédure) que la villa litigieuse a été conçue sur mesure par l'architecte, que l'organisation et la disposition exactes des éléments mis en oeuvre sont probablement spécifiques à ce projet, que la villa est le résultat d'un travail intellectuel et qu'elle possède son cachet propre. L'expert précise toutefois qu'il serait vraisemblablement possible de trouver des précédents pour chacun des éléments composant l'immeuble dans d'autres constructions ou dans l'histoire de l'architecture. Il ajoute que la notion d'"expression innovatrice de l'individualité " (utilisée dans la procédure) est sujette à caution et que l'on peut se demander si la construction d'une villa individuelle est réellement le lieu où doit s'exprimer l'individualité de son concepteur (et non plutôt, s'il faut vraiment exprimer une individualité, celle de son commanditaire).
A.b. En 2011, les propriétaires ont décidé de fermer la terrasse qui n'offrait pas de protection contre les intempéries (pluie, neige) ni contre le soleil et qui amplifiait le bruit causé lors de chaque passage de véhicule sur la route adjacente. Ils ont sollicité l'octroi d'un permis de construire et la publication correspondante dans la Feuille des avis officiels mentionnait: " (...) fermeture d'une terrasse couverte, non chauffée et pergola. Transformation ". Elle indiquait que l'auteur des plans était l'architecte L._.
Les transformations envisagées visaient à fermer l'espace de la terrasse par une structure de verre et de métal, la partie inférieure des transformations sur une hauteur de deux mètres étant partiellement repliable en accordéon. Un verre fixe a été prévu du côté nord. Il a encore été constaté que la fermeture d'un pan entier de la façade modifierait l'aspect général de la maison (" intervention d'une certaine envergure ") et donc son esthétique car un élément important du projet serait touché. L'installation pourrait toutefois être démontée sans dommages majeurs, hormis les trous des ancrages et fixations qui devraient être obstrués.
A.c. Le 1er mai 2011, les propriétaires ont adressé les plans à l'architecte Z._.
Lors d'une rencontre du 13 mai 2011, les propriétaires, l'architecte (Z._) et le serrurier M._ (chargé de réaliser les transformations) ont discuté de la fermeture de la terrasse. Le même jour, les propriétaires informaient l'architecte qu'ils acceptaient sa proposition d'établir un projet de fermeture de la terrasse, à titre gracieux, et qu'ils attendaient la remise de son projet d'ici au 20 mai. L'architecte n'a remis aucun projet.
Le 16 mai 2011, la société Bureau d'architecture Z._ SA a fait opposition au projet de transformation (complètement d'office: art. 105 al. 2 LTF), informant les propriétaires qu'elle retirerait l'opposition si ceux-ci agréait la solution qu'elle étudiait.
L'opposition ayant été écartée par l'autorité compétente, la société de l'architecte a recouru auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois, qui a déclaré son recours irrecevable. La décision a été confirmée par le Tribunal fédéral.
B.
Par requête de mesures provisionnelles et " pré-provisionnelles " déposée devant le Juge délégué de la Cour civile le 20 décembre 2011, l'architecte, alors à titre personnel, a actionné les propriétaires, concluant à ce qu'il soit reconnu " protégé en sa qualité d'auteur de l'oeuvre " et à ce qu'il soit fait interdiction aux défendeurs de procéder à des travaux de transformation de leur villa.
Le Juge délégué a admis la première, puis la deuxième requête et il a interdit aux propriétaires de mettre en oeuvre la transformation envisagée.
Dans le délai imparti, l'architecte a ouvert une action au fond, par demande du 3 septembre 2012, adressée à la Cour civile du Tribunal cantonal vaudois. Il a repris les conclusions de ses requêtes précédentes et en a ajouté une pour contraindre les propriétaires à le consulter avant toute transformation de l'oeuvre, sous la menace des peines prévues à l'art. 292 CP.
Les propriétaires ont conclu au rejet des conclusions du demandeur.
En cours de procès, une expertise a été confiée à N._, architecte EPFL-SIA, qui a déposé son rapport le 31 juillet 2014. Des extraits du rapport, repris par la cour cantonale, ont été introduits dans l'état de fait (cf. supra let. A).
Par jugement du 26 mai 2015, la Cour civile, statuant en instance unique, a admis la conclusion visant la prévention du trouble et a fait interdiction aux défendeurs, sous la menace d'amende de l'art. 292 CP, de mettre en oeuvre les travaux de transformation de leur maison; elle a rejeté toutes les autres conclusions.
C.
Les propriétaires exercent un recours en matière civile contre le jugement cantonal du 26 mai 2015. Ils concluent à sa réforme en ce sens que la demande de l'architecte du 3 septembre 2012 est intégralement rejetée, la cause devant être renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de l'instance précédente.
L'architecte intimé conclut au rejet du recours et à la confirmation du jugement cantonal.
Les parties ont encore chacune déposé de brèves observations.

Considérant en droit :
1.
1.1. Dans le jugement attaqué, la cour cantonale a appliqué les dispositions civiles de la loi fédérale sur le droit d'auteur et les droits voisins du 9 octobre 1992 (LDA; RS 231.1). Il est ainsi incontestable que cette décision a été rendue en matière civile au sens de l'art. 72 al. 1 LTF.
L'art. 5 al. 1 let. a in initio CPC prévoit que le droit cantonal institue une juridiction statuant en instance cantonale unique sur les litiges portant sur des droits de propriété intellectuelle. Le recours en matière civile au Tribunal fédéral est donc ouvert en vertu de l'art. 75 al. 2 let. a LTF, quand bien même le tribunal supérieur cantonal n'a pas statué sur recours. Il en résulte que le recours au Tribunal fédéral n'est lui-même pas soumis à l'exigence d'une valeur litigieuse (art. 74 al. 2 let. b LTF).
Interjeté pour le reste par les parties qui ont succombé dans leurs conclusions libératoires (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
Le Tribunal fédéral ne peut s'écarter des faits ainsi retenus par l'autorité cantonale que s'ils ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
1.3. Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (art. 106 al. 2 LTF; <ref-ruling> consid. 1.4 in fine).
Le Tribunal fédéral n'est pas lié par l'argumentation des parties et apprécie librement la portée juridique des faits; il s'en tient cependant aux questions juridiques que la partie recourante soulève dans la motivation du recours et ne traite donc pas celles qui ne sont plus discutées par les parties, sous réserve d'erreurs manifestes (art. 42 al. 2 LTF; <ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 1.3 p. 584).
2.
2.1. La cour cantonale a observé que la villa litigieuse présentait une particularité au niveau de la toiture, que, selon l'expert, elle a été conçue sur mesure et qu'elle était le fruit d'un travail intellectuel et possédait un cachet propre, que l'organisation et la disposition exacte de ses éléments est probablement spécifique à ce projet, qu'elle se distinguait ainsi des villas communément érigées et qu'elle a fait l'objet d'éloges dans des magazines spécialisés, ceux-ci la qualifiant d'oeuvre remarquable, singulière et réussie. Sur la base de ces éléments, la cour cantonale a qualifié la villa d'oeuvre protégée par le droit d'auteur (art. 2 LDA).
Examinant ensuite si l'architecte pouvait se prévaloir d'une altération de son oeuvre portant atteinte à sa personnalité (art. 11 al. 2 et 12 al. 3 LDA), la cour cantonale a rappelé que ces dispositions ne visaient pas à protéger l'intégrité de l'oeuvre en tant que telle, mais la réputation professionnelle et l'honneur de l'auteur, en tant que personne. Elle a également relevé que la question devait être résolue en pesant les intérêts en présence, soit l'intérêt de l'auteur au maintien de l'oeuvre et l'intérêt des propriétaires à la modification. Mettant en exergue les éloges dont la villa litigieuse a fait l'objet dans des magazines spécialisés, la cour cantonale en a inféré que la transformation envisagée " modifierait un élément important de l'oeuvre, l'un de ceux par lesquels l'architecte a exprimé sa singularité et qui a contribué à sa bonne renommée " et que l'architecte avait un intérêt prépondérant au maintien de son oeuvre. Elle a ensuite observé que les désagréments dont faisaient état les propriétaires - absence de protection contre les intempéries (pluie, neige) et contre le soleil et amplification du bruit extérieur - ne pouvaient être considérés comme des défauts au sens juridique et que les propriétaires étaient quoi qu'il en soit forclos à invoquer les droits attachés à la garantie pour les défauts (art. 367 al. 1 CO). Enfin, observant que les propriétaires n'ont pas non plus allégué que leurs besoins auraient changé depuis la construction de la maison, ou qu'ils auraient voulu l'adapter à de nouvelles considérations techniques ou écologiques, la cour cantonale a conclu que l'intérêt du demandeur au maintien de son oeuvre était clairement supérieur à celui des défendeurs à la modification mise à l'enquête.
2.2. Dans un premier grief, les recourants soutiennent que la terrasse couverte ne peut faire l'objet d'une protection par le droit d'auteur et que c'est en violant l'art. 2 LDA que la cour cantonale a admis sur le principe que l'architecte pouvait invoquer la protection de la LDA.
Dans un second moyen, ils estiment que si les juges précédents avaient pris en compte tous les éléments du cas particulier dans la pesée des intérêts en présence, ils auraient dû (sous peine de transgresser les art. 11 et 12 LDA) arriver à la conclusion que l'intérêt des propriétaires à la modification était prédominant par rapport à l'intérêt de l'architecte à conserver son oeuvre en l'état. Ils considèrent également que le besoin des propriétaires de bénéficier d'une protection contre les intempéries, le soleil et le bruit devait automatiquement être pris en compte par la cour cantonale et non écarté au motif - totalement étranger à la logique qui sous-tend le cas d'espèce - que les propriétaires n'auraient pas invoqué à temps les défauts affectant leur villa (cf. art. 367 CO). Enfin, ils sont d'avis que la cour cantonale a violé les principes d'équité et de proportionnalité, ainsi que l'art. 2 CC.
3.
Dans un premier temps, il s'agit de savoir si l'oeuvre architecturale est protégée par le droit d'auteur (art. 2 LDA).
A cet égard, on observera d'emblée que les recourants se trompent d'objet lorsqu'ils affirment que la question de la protection du droit d'auteur a trait à la (seule) terrasse couverte (sur laquelle la structure de verre et de métal doit être fixée). En l'espèce, la modification projetée ne toucherait pas uniquement la terrasse couverte, mais " l'aspect général de la maison ". Cela étant, il s'agit de savoir si la villa (dans son ensemble) est protégée par le droit d'auteur, et non seulement une partie de celle-ci (la terrasse couverte). C'est d'ailleurs exclusivement sous cet angle que les juges précédents ont examiné la cause.
3.1. Une oeuvre au sens de l'art. 2 al. 1 LDA est une création de l'esprit qui a un caractère individuel, quelles qu'en soient la valeur ou la destination.
Sont notamment des créations de l'esprit les oeuvres d'architecture (art. 2 al. 2 let. e LDA). Ce sont en particulier les bâtiments, les jardins, les parcs et les aménagements intérieurs (BARRELET/EGLOFF, Le nouveau droit d'auteur, adaptation française de Michel Heinzmann, 3e éd. 2008, no 17 ad art. 2 LDA, et les références). L'objet de la protection du droit d'auteur est l'ouvrage architectural tel qu'il a été réalisé (comme c'est le cas en l'espèce) ou qu'il est communiqué au moyen de plans et de maquettes (<ref-ruling> consid. 4b p 331).
Le critère décisif de la protection réside dans l'individualité, qui doit s'exprimer dans l'oeuvre elle-même (<ref-ruling> consid. 2.1 p. 169 s.; <ref-ruling> consid. 4.4 p. 172). L'individualité se distingue de la banalité ou du travail de routine; elle résulte de la diversité des décisions prises par l'auteur, de combinaisons surprenantes et inhabituelles, de sorte qu'il paraît exclu qu'un tiers confronté à la même tâche ait pu créer une oeuvre identique (<ref-ruling> consid. 2.3.1, 2.3.2 et 2.5).
Le caractère individuel exigé dépend de la liberté de création dont l'auteur jouit. Lorsque cette liberté est restreinte, une activité indépendante réduite suffira à fonder la protection; il en va notamment ainsi pour les oeuvres d'architecture en raison de leur usage pratique et des contraintes techniques qu'elles doivent respecter. Aussi, pour obtenir la protection du droit d'auteur, l'architecte ne doit-il pas créer quelque chose d'absolument nouveau, mais il peut se contenter d'une création qui est seulement relativement et partiellement nouvelle. La LDA n'accorde toutefois pas sa protection à l'architecte lorsqu'il procède à un simple apport artisanal par la combinaison et la modification de formes et de lignes connues ou lorsqu'il ne dispose d'aucune liberté de création compte tenu des circonstances dans lesquelles il doit effectuer son travail (<ref-ruling> consid. 4b p. 330 s.).
Relève du fait la question de savoir comment une oeuvre se présente et si, et dans quelle mesure, l'architecte a créé quelque chose de nouveau, ou s'il s'est limité à juxtaposer des lignes ou des formes connues. C'est en revanche une question de droit que de juger si, au vu des faits retenus, la notion juridique de l'oeuvre a été correctement appliquée (cf. <ref-ruling> consid. 4d p. 332 s. et les références).
3.2. Il résulte de l'état de fait dressé par la cour précédente que la villa litigieuse présente une particularité au niveau de la toiture, qui s'élève à chaque extrémité du bâtiment, qu'elle a été construite sur mesure, que l'organisation et la disposition exacte de ses éléments (notamment s'agissant de la réalisation de la terrasse) est spécifique à ce projet, que la villa est le fruit d'un travail intellectuel et qu'elle possède un cachet propre. Il résulte ainsi des constatations cantonales que l'architecte n'a pas fait un simple apport artisanal en juxtaposant des lignes ou des formes connues, mais qu'il a pris diverses décisions (qui ne sont pas dictées par la routine, mais sont le fruit d'un travail intellectuel) conférant à l'oeuvre un caractère individuel.
La villa litigieuse constitue dès lors une oeuvre protégée au sens de l'art. 2 LDA.
4.
Il faut maintenant examiner si l'architecte, dont l'oeuvre est protégée par le droit d'auteur, peut interdire aux propriétaires d'apporter la modification envisagée. A cet égard, il convient de rappeler les prérogatives de l'auteur et les conditions auxquelles il peut interdire une modification (cf. infra consid. 4.1 à 4.6), avant de procéder à la subsomption (cf. infra consid. 5).
4.1. Selon l'art. 11 al. 1 let. a LDA, " l'auteur a le droit exclusif de décider si, quand et de quelle manière l'oeuvre peut être modifiée ".
Cette disposition consacre le droit à l'intégrité (ou droit au respect) de l'oeuvre qui est, comme le droit de paternité et le droit de divulgation (cf. art. 9 LDA), un élément du droit moral de l'auteur (écrivain, compositeur, peintre, sculpteur,...). L'auteur peut s'opposer aussi bien aux petites modifications qu'aux grandes, aux atteintes directes à l'intégrité de l'oeuvre, ainsi qu'aux atteintes indirectes (entre autres auteurs: BARRELET/EGLOFF, op. cit., no 5 ad art. 11 LDA; sur les deux " types " d'atteinte: <ref-ruling> consid. 8 p. 67 ss).
L'auteur peut déroger à cette règle et, oralement ou par écrit, autoriser un tiers à modifier son oeuvre. Toutefois, même dans ce cas, il conserve la possibilité de " s'opposer à toute altération de l'oeuvre portant atteinte à sa personnalité " (art. 11 al. 2 LDA). La notion de " personnalité " correspond à celle des art. 27 ss CC (BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA; GITTI HUG, in Urheberrechtsgesetz, Müller/Oertli [éd.], 2e éd. 2012, nos 10 s. ad art. 9 LDA; cf. VINCENT SALVADÉ, L'exception de parodie ou les limites d'une liberté, medialex 1998, p. 97). On parle aussi, dans la perspective des droits de l'auteur sur l'oeuvre, du " noyau dur " du droit (moral) à l'intégrité (BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA).
4.2. L'architecte, qui conçoit une oeuvre destinée à satisfaire les besoins du maître de l'ouvrage, dispose d'un droit plus restreint que les autres auteurs (soit ceux réalisant des oeuvres littéraires, musicales, etc.). En vertu de l'art. 12 al. 3 LDA, " une fois réalisées, les oeuvres d'architecture peuvent être modifiées par le propriétaire; l'art. 11 al. 2, est réservé ".
Cet alinéa - mal placé à l'art. 12 LDA (épuisement de droits) - vise le droit à l'intégrité de l'oeuvre (art. 11 LDA) : pour les oeuvres d'architecture, l'auteur (l'architecte) perd, au profit du propriétaire, les prérogatives découlant de l'art. 11 al. 1 LDA. En d'autres termes, le propriétaire " a fondamentalement le droit de modifier l'oeuvre architecturale " (IVAN CHERPILLOD, Le droit d'auteur des architectes, plaidoyer 6/1994, p. 52).
4.2.1. Ce droit du propriétaire reste toutefois soumis à une double limite: premièrement, il ne peut réaliser la modification projetée si elle porte atteinte au noyau dur du droit à l'intégrité de l'auteur (art. 11 al. 2 LDA; <ref-ruling> consid. 5c p. 5b p. 475 s.); une seconde limite découle de l'art. 2 al. 2 CC selon lequel l'abus manifeste d'un droit n'est pas protégé par la loi (<ref-ruling> consid. 5d p. 476 s.).
4.2.2. Dans ce (double) cadre, le propriétaire est, sauf convention contraire (cf. infra consid. 4.2.3), libre d'effectuer les transformations qu'il désire. Il doit en effet pouvoir maintenir la valeur et la destination de son immeuble (notamment par des travaux d'assainissement), l'adapter à des conceptions techniques ou écologiques modifiées (isolation supplémentaire, installation de panneaux solaires,...) ou être en mesure d'améliorer son rendement (<ref-ruling> consid. 5b p. 475). Cela, l'architecte l'a nécessairement pris en considération avec la livraison sans réserves de l'exemplaire de l'oeuvre, destiné à un certain but, et il a renoncé dans cette mesure à son droit moral (<ref-ruling> consid. 5b p. 475).
Toujours dans ce cadre, le propriétaire n'est pas tenu de préserver l'intégrité de l'oeuvre dans la mesure du possible, ni de limiter l'atteinte à celle qui serait la moindre, mais il peut apporter des modifications selon ses intentions et selon l'idée qu'il juge appropriée quant à l'utilisation du bâtiment (<ref-ruling> consid. 5d p. 477 et consid. 6 p. 478).
Enfin, le propriétaire, à défaut d'une convention contraire (cf. infra consid. 4.2.3) ne peut pas non plus être contraint de confier à l'architecte la planification et la réalisation des travaux de modification du bâtiment (<ref-ruling> consid. 5d p. 477).
4.2.3. Si l'architecte entend s'assurer le maintien en l'état de son oeuvre, il lui incombe de prévoir contractuellement, avec le propriétaire, qu'il conserve le droit d'interdire des transformations, ou qu'il se réserve le droit d'exécuter lui-même celles-ci (entre autres auteurs: BARRELET/EGLOFF, op. cit., no 15 ad art. 12 LDA; NICOLE SCHNEIDER, Urheberrechtlicher Schutz von planmässig festgehaltenen sowie ausgeführten Werken der Baukunst, 1996, p. 439 et p. 454; CEREGHETTI/PAYCHÈRE, De la dimension culturelle de l'architecture, plaidoyer 3/1994, p. 43, qui relatent l'opinion de Patrick Devanthéry, architecte).
4.3. S'agissant de la première limite (cf. supra consid. 4.2.1), il résulte de l'art. 11 al. 2 LDA et de la jurisprudence qu'il s'agit exclusivement de se demander si une modification est attentatoire à la personnalité de l'architecte. Contrairement à ce qui se fait en Allemagne, il n'y a pas lieu d'entreprendre une pesée des intérêts de celui-ci et du propriétaire de l'oeuvre; on ne saurait pas non plus s'abstenir d'examiner l'atteinte à la personnalité de l'auteur pour la seule raison que celui-ci y aurait préalablement consenti (cf. la lettre de l'art. 11 al. 2 LDA; <ref-ruling> consid. 6 p. 479; très clairement: arrêt 4C.154/1996 du 5 novembre 1996 consid. 5 traduit partiellement au JdT 1997 I p. 254).
4.3.1. Cette interprétation est soutenue par une large partie de la doctrine (BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA; CYRILL P. RIGAMONTI, Urheberpersönlichkeitsrechte, 2013, p. 300; SIBYLLE WENGER BERGER, Architektur und immaterielle Rechte, 2010, p. 70; SCHNEIDER, op. cit., p. 453 s.; THIES/SPAUSCHUS, Quo vadis Baukultur? - Der Schutz der Urheberpersönlichkeit von Architekten in Deutschland und der Schweiz, sic! 2007, p. 890; HERBERT PFORTMÜLLER, in Urheberrechtsgesetz, Müller/Oertli [éd.], 2e éd. 2012, no 20 ad art. 12 LDA p. 117 et 3e par. p. 119; cf. aussi, se basant exclusivement sur le critère de l'atteinte à la personnalité de l'auteur: CARRON/KRAUS/KRÜSI/FÉROLLES, Das Urheberrecht der Planer, 2014, p. 82; EDGAR PHILIPPIN, in Commentaire romand, Propriété intellectuelle, 2013, no 47 ad art. 12 LDA; MARTIN J. LUTZ, Der Erhaltungsanspruch des Architekten am Bauwerk ist dem Nutzungsinteresse der Eigentümers grundsätzlich unterzuordnen, in Binsenwahrheiten des Immaterialgüterrechts, 1996, p. 240).
4.3.2. D'autres auteurs sont toutefois d'avis qu'il n'est pas suffisant d'examiner l'atteinte à la personnalité de l'auteur, mais qu'une pesée des intérêts en présence, soit celui de l'architecte (auteur) et celui du propriétaire, doit nécessairement être effectuée (FRANÇOIS DESSEMONTET, in SIWR II/1, 3e éd. 2014, n. 604 p. 208; JACQUES DE WERRA, Le droit à l'intégrité de l'oeuvre, 1997, n. 135 p. 162, et les auteurs cités; PETER MOSIMANN, Der Werk- und Wirkbereich im Kunstschaffen des Architekten, in Kultur Kunst Recht, Mosimann et al. [éd.], n. 39 p. 593; MATTHIAS SEEMANN, Übertragbarkeit von Urheberpersönlichkeitsrechten, 2008, p. 186; PETER HAFNER, Das Verhältnis urheberrechtlicher Befugnisse zum Eigentum am Werkexemplar, 1994, p. 29 et la note 57 et p. 76; en ce sens: CHERPILLOD, op. cit., p. 53; dans la perspective de la liberté de parodie: SALVADÉ, op. cit., p. 97).
La cour cantonale, faisant implicitement sienne l'opinion de ces derniers auteurs, a entrepris une pesée des intérêts (architecte et propriétaire), de même que les parties (recourants et intimé), qui ont chacune d'elles effectué la pesée dans un sens favorable à sa thèse.
4.4. Il est donc nécessaire de rappeler à cet égard que l'interprétation retenue par le Tribunal fédéral repose sur l'énoncé clair de l'art. 11 al. 2 LDA: d'une part, cette disposition ne contient aucun renvoi à l'art. 28 CC (dont l'alinéa 2 prévoit que l'atteinte illicite peut être justifiée par le consentement de la victime ou par un intérêt prépondérant privé ou public); d'autre part, elle règle explicitement la question du consentement en indiquant que, même si celui-ci a été donné (dans un contrat) par l'auteur, cela ne justifie en principe pas - contrairement à ce que prévoit l'art. 28 al. 2 CC - l'atteinte à son droit (BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA). Le commentaire du Conseil fédéral - dans son message du 19 juin 1989 sur la dernière révision totale de la loi fédérale sur le droit d'auteur (FF 1989 III 465 ch. 212.31 p. 515) - qui fait allusion à l'art. 28 CC (" la protection de la personnalité prévue à l'art. 28 CC est réservée ") ne trouve aucune assise dans l'expression que lui a donnée le législateur à l'art. 11 al. 2 LDA et il ne peut conduire à une interprétation différente (cf. <ref-ruling> consid. 7a p. 325 et les arrêts cités; arrêt 4A_242/2009 du 10 décembre 2009 consid. 5.6.1 publié in sic! 2010 p. 353; BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA; implicitement: arrêt 4C.154/1996 déjà cité consid. 5). On peut d'ailleurs mettre en évidence que, lorsque le législateur entendait effectivement renvoyer, dans la LDA, aux dispositions du Code civil, il y a procédé de manière expresse (cf. art. 33a LDA) (RIGAMONTI, op. cit., p. 300); partant, la technique législative mise au service de la LDA confirme que l'absence de renvoi à l'art. 28 CC doit être compris, à l'art. 11 al. 2 LDA, comme un silence qualifié.
D'un point de vue systématique et téléologique, on relèvera encore que la protection accordée à l'auteur par cette disposition - qui vise le noyau dur du droit à l'intégrité de l'auteur - coïncide dans une large mesure avec la protection de l'art. 27 al. 2 CC, selon lequel nul ne peut aliéner sa liberté, ni s'en interdire l'usage, dans une mesure contraire aux lois ou aux moeurs (BARRELET/EGLOFF, op. cit., no 7 ad art. 9 LDA; HUG, op. cit., no 11 ad art. 9 LDA; DE WERRA, op. cit., n. 173 p. 202 s.; RIGAMONTI, op. cit., p. 296). L'existence d'un engagement excessif (au sens de l'art. 27 al. 2 CC) doit être établie exclusivement en fonction de son effet sur celui qui s'est obligé et on ne saurait introduire dans la réflexion une appréciation globale, qui tiendrait également compte de l'intérêt de tiers. De même, les modifications susceptibles de transgresser l'art. 11 al. 2 LDA doivent être qualifiées exclusivement en fonction de l' (éventuelle) atteinte portée à la personnalité de l'architecte.
Cela étant, le Tribunal fédéral, comme il l'a fait jusqu'à aujourd'hui, continue d'adhérer à l'interprétation faite par le premier courant doctrinal.
4.5. Ainsi, pour mettre en oeuvre l'art. 11 al. 2 LDA, l'architecte doit démontrer l'existence d'une altération de l'oeuvre qui porte atteinte à sa personnalité.
Le terme d'altération ( Entstellung) suppose une modification d'une certaine importance allant dans un sens négatif (<ref-ruling> consid. 8b p. 69 et les auteurs cités).
S'agissant de l'atteinte à la personnalité, ce n'est pas l'intégrité de l'oeuvre qui est protégée de la sorte, mais la considération de l'architecte en tant que personne, soit sa réputation professionnelle et son honneur (SCHNEIDER, op. cit., p. 412; BARRELET/EGLOFF, op. cit., no 13 ad art. 11 LDA; CHERPILLOD, op. cit., p. 53; cf. infra consid. 4.6). A cet égard, le législateur a préconisé une interprétation restrictive de l'art. 11 al. 2 LDA et ce n'est que de manière très limitée que l'auteur peut s'opposer aux modifications apportées sur l'oeuvre qu'il a réalisée (SCHNEIDER, op. cit., p. 407 et les références).
4.6. Ce qui compte, pour juger de l'atteinte à la personnalité, c'est de savoir à quel point l'oeuvre est l'expression de la personnalité de l'auteur et le résultat de son activité créatrice individuelle. Autrement dit, il s'agit en particulier d'établir le degré d'intensité de la relation entre la personnalité de l'auteur et l'oeuvre (<ref-ruling> consid. 5c p. 476; <ref-ruling> consid. 6a p. 421; 69 II 53 consid. 4 p. 58; 58 II 290 consid. 5 p. 307 s.).
Un degré d'individualité élevé, expression particulière d'une personnalité, place l'oeuvre dans un rapport étroit avec son auteur. Cela ne signifie pas que les modifications d'une construction seront alors automatiquement exclues, mais, en cas de degré d'individualité élevé, le juge sera plus enclin à admettre que l'altération constitue une atteinte à la réputation. Inversement, les modifications seront admises plus facilement si l'individualité est moindre, avant tout parce que celle-ci se manifestera pour l'essentiel dans des détails seulement (<ref-ruling> consid. 5c p. 476 et l'auteur cité). Par exemple, le remplacement d'un toit plat par un toit pointu n'a pas été jugé attentatoire à la personnalité dans un cas où l'architecte n'a fait qu'appliquer les règles fixées par le courant architectural du Bauhaus (<ref-ruling> consid. 6 p. 479).
4.6.1. Pour juger de l'atteinte à la personnalité de l'auteur de l'oeuvre, il faut se fonder sur des considérations objectives et non la mesurer à l'aune de la sensibilité plus ou moins exacerbée de l'auteur concerné (cf. <ref-ruling> consid. 4.2 p. 493). Une expertise peut se révéler nécessaire (cf. infra consid. 4.6.2).
Il convient notamment de tenir compte, dans chaque cas d'espèce, de la nature (ou du caractère) même de l'oeuvre et de sa finalité, qui exercent une influence sur la portée de la protection ( Schutzumfang) (cf. <ref-ruling> consid. 5c p. 476). L'architecte d'une école ou d'un centre commercial sera en principe conscient de la vocation utilitaire de son oeuvre et, donc, du fait que le propriétaire de l'immeuble dispose d'une plus grande latitude (entre autres auteurs: DE WERRA, op. cit., n. 135 p. 164 et les références citées). Au contraire, pour une église, on sera plus vite enclin, en cas de transformation, à admettre une lésion de la réputation de l'architecte qui en a entrepris la réalisation (cf. la décision du Kantonsgericht des Grisons du 4 septembre 2007 consid. 7.6, publiée in sic! 2009 p. 596).
Il importe aussi de savoir si le bâtiment a - ou non - bénéficié, avant la transformation projetée, d'une longue et importante exposition tant par sa fréquentation par le public que par sa présence dans les recueils de référence architecturales (cf. en droit belge, sous l'angle de l'abus de droit: HENROTTE/HENROTTE, L'architecte, Contraintes actuelles et statut de la profession en droit belge, 2e éd. 2013, n. 782 p. 588). Si l'oeuvre a fait l'objet d'une importante exposition, le risque que, une fois la modification réalisée, le public se fasse une mauvaise image de l'auteur de l'oeuvre initiale est réduit (sur le critère de l'image: cf. SCHNEIDER, op. cit., p. 415).
L'importance et la nature des modifications doivent également être prises en compte, notamment leur impact temporaire ou définitif sur l'oeuvre de l'auteur (cf. la décision du Kantonsgericht des Grisons déjà citée consid. 7.6).
De même, il s'agit d'examiner la finalité des modifications et des adaptations projetées (DE WERRA, op. cit., p. 163). Si les critères de l'esthétique (beauté) de l'oeuvre et de sa fonctionnalité ne jouent aucun rôle pour déterminer si une création est protégée ou non (art. 2 LDA; BARRELET/EGLOFF, op. cit., no 9 s. ad art. 2 LDA), ces critères - contrairement à ce que pensent les recourants (à la suite de CARRON/KRAUS/KRÜSI/FÉROLLES, op. cit., p. 84) - doivent être pris en compte sous l'angle de l'art. 11 al. 2 LDA; si les modifications envisagées sont dictées par des désirs purement esthétiques, le juge sera plus vite enclin à les déclarer contraires à cette disposition (cf. DE WERRA, op. cit., p. 163 et les auteurs cités) que si elles répondent à un besoin fonctionnel du propriétaire (ERNST HEFTI, Das Bauwerk im Urheberrecht oder der betrogene Architekt, Schweizer Ingenieur und Architekt 111/1993, p. 692; cf. aussi supra consid. 4.2.2; cf. en Europe: MICHEL HUET, La protection de l'oeuvre de l'architecte, plaidoyer 6/1994, p. 46).
Ainsi, certaines modifications " esthétiques " sont, en elles-mêmes, susceptibles de porter atteinte à la personnalité de l'architecte: par exemple, apposer sur une façade une peinture ou une mosaïque libidineuse constitue une atteinte certaine (BARRELET/EGLOFF, op. cit., no 16 ad art. 12 LDA et la référence citée).
4.6.2. Une expertise peut s'avérer nécessaire, d'une part pour présenter les divers éléments (formels) composant l'immeuble réalisé par l'architecte, pour indiquer si la personnalité de l'auteur peut être discernée dans l'oeuvre (" style de l'auteur "; cf. à cet égard, sous l'angle de l'art. 6 bis CB: THOMAS HEIDE, Réinterpréter le droit au respect de l'oeuvre énoncé à l'art. 6 bis de la Convention de Berne, Bulletin du droit d'auteur, 1997, vol. 31 no 3, p. 8 s.), pour expliquer l'intensité du lien qui existe entre l'auteur et sa création, ainsi que, d'autre part, pour définir l'ampleur et la finalité de la modification projetée (cf. CARRON/KRAUS/KRÜSI/FÉROLLES, op. cit., p. 84; cf. sur l'importance de l'avis d'un expert dans ce domaine: SCHNEIDER, op. cit., p. 414; MOSIMANN, op. cit., no 38 p. 592).
5.
5.1. Il s'agit maintenant, à la lumière des considérations qui précèdent, de procéder à la subsomption.
La condition de l'altération est remplie en l'espèce. Il résulte en effet des constatations cantonales que la modification projetée consiste en une modification sensible (" intervention d'une certaine envergure, à l'échelle de la maison " selon l'expert) allant " dans un sens négatif ", l'expert ayant en particulier mis en évidence que le projet de modification n'atteignait pas le niveau de soin apporté aux autres éléments de menuiserie et de serrurerie de la maison.
5.2. En ce qui concerne la seconde condition (atteinte à la personnalité), la cour cantonale s'est bornée à affirmer qu'il résulte des magazines dans lesquels la maison a été présentée que les milieux concernés considèrent que l'oeuvre revêt un degré d'originalité élevé. Elle en a déduit d'emblée que la transformation projetée aurait pour effet de modifier un élément important de l'oeuvre, l'un de ceux par lesquels l'architecte a exprimé la singularité de son oeuvre et qui a contribué à sa bonne renommée, et que la modification de cet élément porterait atteinte à sa réputation.
5.2.1. Le raisonnement de la cour précédente, qui repose exclusivement sur l'existence d'articles élogieux de la presse spécialisée, ne convainc pas.
Premièrement, si l'on constate que la villa fait l'objet d'éloges et que les propriétaires étaient alors satisfaits, on n'apprend rien sur l'intensité de la relation entre l'oeuvre - ou divers éléments la composant - et son créateur (cf. supra consid. 4.6).
Deuxièmement, la cour cantonale omet de tenir compte du fait que d'autres critères, totalement étrangers au contenu des articles de presse, jouent un rôle pour déterminer l'intensité de l'atteinte à la personnalité de l'auteur; il s'agit par exemple de déterminer la finalité de la modification envisagée (cf. supra consid. 4.6.1).
Enfin, il ne s'agit pas seulement de constater que la villa a fait l'objet d'éloges dans la presse spécialisée, mais il faut aussi tenir compte du fait que, pour les personnes intéressées, ces publications ont contribué à tisser un lien entre l'oeuvre initiale et l'architecte (sur cette question, cf. supra consid. 4.6.1).
5.2.2. Il convient de reprendre l'analyse de l'art. 11 al. 2 LDA en fonction de l'ensemble des critères rappelés plus haut (cf. supra consid. 4.5 et 4.6).
En ce qui concerne la nature du bâtiment et sa finalité (villa familiale), on ne peut, en soi, en tirer aucun argument en faveur de la thèse de l'architecte. Il semble plutôt que, pour une maison familiale, la destination utilitaire soit au premier plan, ce que l'expert a d'ailleurs suggéré en relevant que les propriétaires avaient affirmé avoir commandé une maison pour leur famille et non un chef-d'oeuvre.
Il ressort également de l'expertise que si la villa litigieuse présente des éléments qui la distinguent des villas communément érigées, il est vraisemblable qu'il existe des précédents pour chacun de ces éléments dans d'autres constructions ou dans l'histoire de l'architecture. On ne discerne donc pas non plus d'indices allant dans le sens d'un degré d'individualité élevé.
Il résulte encore de l'arrêt cantonal (et du dossier) que la création de l'architecte a fait l'objet de plusieurs publications entre 2002 et 2008 et, donc, d'une exposition relativement importante par sa présence dans les magazines spécialisés. Cela étant, les observateurs intéressés ont pu se faire une image de la réalisation de l'architecte et le risque qu'ils fassent encore aujourd'hui un lien entre l'architecte et la villa alors modifiée selon le projet des propriétaires (de telle sorte que la réputation de l'architecte pourrait en pâtir) a perdu une partie de sa réalité.
S'agissant ensuite de la modification envisagée par les propriétaires, on peut d'emblée constater qu'elle n'est pas, en soi, de nature à porter atteinte à la personnalité de l'auteur (cf. supra consid. 4.6.1).
Quant à l'importance de la modification, elle n'est certes pas négligeable (cf. supra consid. 5.1), mais sa finalité est de nature fonctionnelle, en ce sens qu'elle répond à un besoin des propriétaires et de leurs enfants. L'adaptation projetée (réversible) ne modifie en outre pas l'oeuvre initiale de manière définitive, ce qui plaide en faveur de la thèse des propriétaires.
En résumé, les divers indices qui viennent d'être évoqués ne vont pas dans le sens d'une grande intensité de la relation entre la personnalité de l'auteur et son oeuvre; quant aux modifications projetées, même si elles ont un impact sur l'aspect de la maison, elles sont de nature fonctionnelle, de sorte que les atteintes à l'oeuvre sont de celles qui ne commandent pas une protection impérative de l'auteur.
Quant à l'expertise (cf. supra consid. 4.6.2), elle ne fournit aucun argument justifiant de s'écarter de cette conclusion. Elle montre plutôt que l'expert est réticent à reconnaître qu'une villa individuelle puisse refléter l'"expression innovatrice de l'individualité " de l'architecte. Selon lui, on peut se demander s'il s'agit vraiment du lieu où l'individualité de son concepteur doit s'exprimer, l'oeuvre en question pouvant tout aussi bien exprimer l'individualité du commanditaire (propriétaire). La prise en compte de l'expertise ne fournit ainsi aucun motif (factuel) permettant de considérer qu'il existerait notamment, dans les circonstances de l'espèce, un lien étroit entre la personnalité de l'architecte et son oeuvre.
Cela étant, c'est en transgressant l'art. 11 al. 2 LDA que la cour cantonale a admis la demande et fait interdiction aux défendeurs de mettre en oeuvre les travaux modifiant leur villa. Le grief soulevé par les recourants est bien fondé.
Il résulte des constatations cantonales que les propriétaires avaient un intérêt évident à entreprendre les modifications projetées, et qu'ils ont même informé leur architecte de leur projet, de sorte que toute réflexion au sujet d'un éventuel abus de droit peut être écartée (cf. supra consid. 4.2.1 sur cette deuxième limite). L'architecte intimé ne discute d'ailleurs même pas ce point.
Il convient dès lors d'admettre le recours interjeté par les propriétaires et de réformer le jugement entrepris en ce sens que la demande de l'architecte est entièrement rejetée.
5.3. Vu l'issue de la cause, il est superflu d'examiner les autres critiques des recourants, notamment celles basées sur les principes de l'équité et de la proportionnalité.
6.
Il résulte des considérations qui précèdent que le recours en matière civile doit être admis et que le jugement attaqué doit être réformé en ce sens que la demande de l'architecte est entièrement rejetée. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens cantonaux.
Les frais et dépens de l'instance fédérale sont mis à la charge de l'intimé, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt attaqué est réformé en ce sens que la demande du 3 septembre 2012 de l'architecte intimé est entièrement rejetée.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera aux recourants, créanciers solidaires, une indemnité de 6'000 fr. à titre de dépens.
4.
La cause est retournée à la cour cantonale pour nouvelle décision sur les frais et dépens de l'instance cantonale.
5.
Le présent arrêt est communiqué aux parties et à la Cour civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 avril 2016
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget