Faits :
A.
X._, né en 1949, est au bénéfice d'un titre postgrade suisse en psychiatrie et psychothérapie et est autorisé à pratiquer à titre indépendant dans le canton de Vaud depuis 2004.
Le 3 mai 2016, le Chef du Département de la santé et de l'action sociale du canton de Vaud (ci-après: le Département de la santé) lui a infligé un blâme, ainsi qu'une amende de 10'000 fr. et a ordonné que la sanction soit publiée dans la Feuille d'avis officielle du canton de Vaud (ci-après: FAO); il a également astreint l'intéressé à un suivi thérapeutique, avec un rapport trimestriel de son psychiatre au Médecin cantonal. Ces mesures sanctionnaient le comportement de X._, qui avait eu des relations sexuelles avec une de ses patientes (après la fin de la thérapie) en 2015. La décision du 3 mai 2016 signalait également que l'intéressé avait entretenu des relations sexuelles avec une autre de ses patientes en 2003 et 2005, tout en mentionnant que les faits relatifs à cette autre affaire étaient prescrits et que la décision ne concernait que les faits de 2015.
B.
Par arrêt du 18 octobre 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours que X._ avait déposé à l'encontre de la décision du 3 mai 2016 en tant qu'elle ordonnait la publication de la sanction prononcée.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt attaqué en ce sens que la publication dans la FAO de la décision du 3 mai 2016 du Département de la santé est interdite; subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens que ladite publication est interdite.
Le Service de la santé publique du canton de Vaud conclut au rejet du recours. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué.
Par ordonnance du 13 décembre 2016, le Président de la IIe Cour de droit public a considéré que la demande d'effet suspensif était sans objet.
X._ s'est encore prononcé par écriture reçue par le Tribunal fédéral le 11 janvier 2017.

Considérant en droit :
1.
Le recours en matière de droit public, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) par l'intéressé qui a la qualité pour recourir (<ref-law>), est recevable (art. 82 let. a et 90 LTF).
2.
Est seule litigieuse la question de la publication dans la FAO de la sanction prononcée, à savoir un blâme et une amende de 10'000.- fr.
2.1. Selon le recourant, la publication de la mesure disciplinaire, prévue par l'art. 191 de la loi vaudoise du 29 mai 1985 sur la santé publique (ci-après: loi vaudoise sur la santé publique, LSP; RS/VD 800.01), serait contraire à l'art. 43 de la loi fédérale du 23 juin 2006 sur les professions médicales universitaires, entrée en vigueur le 1er septembre 2007 (loi fédérale sur les professions médicales, LPMéd; RS 811.11). Cette disposition fédérale prévoirait un catalogue de mesures qui ne pourrait être ni restreint, ni élargi par les cantons. Partant, en prévoyant la publication de la sanction infligée, l'arrêt attaqué violerait le principe de la primauté du droit fédéral (art. 49 al. 1 Cst.).
2.2. Selon l'art. 49 al. 1 Cst., le droit fédéral prime le droit cantonal qui lui est contraire. Ce principe de la primauté du droit fédéral fait obstacle à l'adoption ou à l'application de règles cantonales qui éludent des prescriptions de droit fédéral ou qui en contredisent le sens ou l'esprit, notamment par leur but ou par les moyens qu'elles mettent en oeuvre, ou qui empiètent sur des matières que le législateur fédéral a réglementées de façon exhaustive. Cependant, même si la législation fédérale est considérée comme exhaustive dans un domaine donné, une loi cantonale peut subsister dans le même domaine en particulier si elle poursuit un autre but que celui recherché par le droit fédéral. En outre, même si, en raison du caractère exhaustif de la législation fédérale, le canton ne peut plus légiférer dans une matière, il n'est pas toujours privé de toute possibilité d'action. Ce n'est que lorsque la législation fédérale exclut toute réglementation dans un domaine particulier que le canton perd toute compétence pour adopter des dispositions complétives, quand bien même celles-ci ne contrediraient pas le droit fédéral ou seraient même en accord avec celui-ci (<ref-ruling> consid. 3.1 p. 446; <ref-ruling> consid. 3.4 p. 174; <ref-ruling> consid. 2.1 p. 108; <ref-ruling> consid. 4.1 p. 116 et les arrêts cités).
Le Tribunal fédéral examine librement la conformité d'une règle de droit cantonal au droit fédéral lorsqu'il est appelé à examiner cette question au regard du grief de violation de l'art. 49 al. 1 Cst. (<ref-ruling> consid. 3.2 p. 396).
3.
3.1. Il convient, en premier lieu, de distinguer le champ d'application matériel de la loi fédérale sur les professions médicales de celui de la loi vaudoise sur la santé publique.
Il ressort de l'art. 1 al. 3 let. e LPMéd que la loi fédérale sur les professions médicales réglemente de manière exhaustive l'exercice des professions médicales énumérées à l'<ref-law> (médecins, dentistes, chiropraticiens, pharmaciens et vétérinaires) à titre indépendant (Message du 3 décembre 2004 concernant la loi fédérale sur les professions médicales universitaires, FF 2005 p. 160 et ad art. 1 p. 185).
Il en découle que la loi vaudoise sur la santé publique ne peut s'appliquer aux professions médicales susmentionnées que si celles-ci ne sont pas pratiquées à titre indépendant et, dans les cas où ces professions sont exercées à titre indépendant, que dans la mesure où la loi fédérale sur les professions médicales déléguerait aux cantons d'éventuelles compétences ou ne réglementerait pas un aspect de l'exercice à titre indépendant de façon exhaustif, sous réserve des considérations mentionnées ci-dessus (cf. supra consid. 2.2).
3.2. Les cantons sont compétents pour délivrer l'autorisation d'exercer sur leur territoire (<ref-law>). Cependant, les conditions professionnelles et personnelles pour l'octroi de l'autorisation de pratiquer sont réglées exhaustivement à l'<ref-law> et les cantons ne sont pas habilités à en ajouter d'autres (FF 2005 ad art. 36, p. 209). Les cantons peuvent préciser la condition personnelle de l'<ref-law> qui exige que le requérant soit digne de confiance et présente, tant physiquement que psychiquement, les garanties nécessaires à un exercice irréprochable de la profession (FF 2005 ad art. 43 p. 213); compte tenu de la volonté du législateur d'unifier les conditions d'exercice à titre indépendant sur tout le territoire de la Confédération et du fait que l'<ref-law> décrit de manière exhaustive les conditions personnelles requises pour obtenir une autorisation (FF 2005 ad art. 36 p. 209), cette disposition doit être interprétée de façon restrictive et doit être considérée comme faisant plutôt référence aux moyens de preuve auxquels il est possible de recourir (attestation de moralité, certificat médical, etc.). Des dispositions cantonales peuvent être édictées dans le cadre de l'<ref-law> (FF 2005 ad art. 43, p. 212), à savoir les restrictions et les charges imposées à l'autorisation de pratiquer. Si une des conditions à l'octroi de l'autorisation de pratiquer n'est plus remplie, l'autorisation de pratiquer est retirée (<ref-law>). Il s'agit là d'une mesure administrative. Elle est à distinguer de la mesure disciplinaire, mesure qui est en cause dans la présente affaire (cf., sur la distinction entre ces deux procédures pour les avocats, <ref-ruling> consid. 7.2 p. 429, cf. également consid. 3.2 non publié de cet arrêt) et examinée ci-après.
3.3. Les mesures disciplinaires infligées à un membre d'une profession libérale soumise à la surveillance de l'Etat ont principalement pour but de maintenir l'ordre dans la profession, d'en assurer le fonctionnement correct, d'en sauvegarder le bon renom et la confiance des citoyens envers cette profession, ainsi que de protéger le public contre ceux de ses représentants qui pourraient manquer des qualités nécessaires. Les mesures disciplinaires ne visent pas, au premier plan, à punir le destinataire, mais à l'amener à adopter à l'avenir un comportement conforme aux exigences de la profession et à rétablir le fonctionnement correct de celle-ci (arrêt 2C_500/2012 du 22 novembre 2012 consid. 3.3 et les références citées).
La loi fédérale sur les professions médicales a pour but d'unifier le droit disciplinaire notamment quant aux mesures prévues en cas de violation des obligations professionnelles (FF 2005 ad art. 43 p. 212). De même que les devoirs professionnels des personnes exerçant une profession médicale universitaire à titre indépendant (qui deviendra, "des personnes exerçant une profession médicale universitaire sous leur propre responsabilité professionnelle", selon la loi fédérale du 30 septembre 2016 sur les professions de la santé [LPSan], dont le délai référendaire a échu le 19 janvier 2017 [FF 2016 7383]) sont énumérés exhaustivement à l'<ref-law>, l'<ref-law> contient une liste exhaustive des mesures disciplinaires pouvant être prononcées que les cantons ne peuvent pas modifier (FF 2005 ad art. 43 p. 212; TOMAS POLEDNA; in: Commentaire de loi sur les professions médicales, 2009, n° 2 et 17 ad <ref-law>); il a la teneur suivante:
" 1 En cas de violation des devoirs professionnels, des dispositions de la présente loi ou de ses dispositions d'exécution, l'autorité de surveillance peut prononcer les mesures disciplinaires suivantes:
a. un avertissement;
b. un blâme;
c. une amende de 20'000 fr. au plus;
d. une interdiction de pratiquer à titre indépendant pendant six ans au plus (interdiction temporaire);
e. une interdiction définitive de pratiquer à titre indépendant pour tout ou partie du champ d'activité.
2 En cas de violation des devoirs professionnels énoncés à l'art. 40, let. b, seules peuvent être prononcées les mesures disciplinaires visées à l'al. 1, let. a à c.
3 L'amende peut être prononcée en plus de l'interdiction de pratiquer à titre indépendant.
4 Pendant la procédure disciplinaire, l'autorité de surveillance peut restreindre l'autorisation de pratiquer, l'assortir de charges ou la retirer."
Chaque canton désigne l'autorité chargée de la surveillance des personnes exerçant une profession médicale universitaire à titre indépendant sur son territoire et cette autorité de surveillance prend les mesures nécessaires pour faire respecter les devoirs professionnels (<ref-law>). Dans la mesure où la loi fédérale ne règle pas la procédure disciplinaire plus avant, celle-ci ressortit à la compétence des cantons (TOMAS POLEDNA, Disziplinarverfahren und Disziplinarwesen, in: Das neue Medizinalberufegesetz [MedBG], 2008, n° 6 p. 124; cf. aussi UELI KIESER, Gegenstand und Geltungsbereich des Medizinalberufegesetzes [MedBG], in: Das neue Medizinalberufegesetz [MedBG], 2008, p. 20). Dans le canton de Vaud, l'autorité compétente à cet égard est le Département de la santé et de l'action sociale (art. 4 al. 1 LSP).
3.4. Quant à l'art. 191 LSP, dont le recourant estime que l'application viole le principe de la primauté du droit fédéral en tant que cette disposition prévoit la publication de la sanction, il dispose:
" 1 Lorsqu'une personne n'observe pas la présente loi ou ses dispositions d'application, lorsqu'elle a fait l'objet d'une condamnation pour un crime ou un délit, lorsqu'elle est convaincue d'immoralité ou de procédés frauduleux ou lorsqu'elle fait preuve dans l'exercice de sa profession de négligence, de résistance aux ordres de l'autorité ou d'incapacité, le département peut lui infliger les sanctions administratives suivantes :
a. l'avertissement;
b. le blâme;
c. l'amende de 500.- fr. à 200'000.- fr.;
d. la mise en place de conditions, la limitation, la suspension, le retrait temporaire ou définitif de l'autorisation de pratiquer, d'exploiter ou de diriger ou encore le retrait de la qualité de responsable;
e. la fermeture des locaux;
f. l'interdiction de pratiquer.
2 Ces sanctions peuvent être cumulées.
3 Sauf dans les cas où un avertissement est prononcé, le département peut publier la décision prononcée dès qu'elle est exécutoire.
(...)."
3.5. On constate que les mesures disciplinaires définies par la disposition cantonale sont différentes de celles établies par le droit fédéral: celle-ci prévoit un montant minimum pour l'amende, ce qui n'est pas le cas du droit fédéral, et le montant maximum fixé (200'000 fr.) est supérieur à celui arrêté par l'art. 43 al. 1 let. c LPMéd (20'000 fr.); de plus, les let. d, e et f mentionnent des sanctions qui ne figurent pas dans la disposition fédérale. En outre, l'art. 191 al. 2 LSP dispose que les sanctions énumérées peuvent être cumulées alors que, selon l'<ref-law>, le seul cumul possible est celui de l'amende avec l'interdiction de pratiquer à titre indépendant (cf. <ref-law>; TOMAS POLEDNA, op. cit., n° 34 ad <ref-law>).
La législation vaudoise peut contenir une norme traitant des mesures disciplinaires ne correspondant pas à celle du droit fédéral, pour autant que le champ d'application matériel de ces deux lois ne soit pas le même (cf. supra consid. 3.1).
Cependant, en l'espèce, le recourant, qui exerçait la profession de psychiatre à titre indépendant, ne peut être soumis, au regard de la primauté du droit fédéral, qu'aux mesures disciplinaires de l'<ref-law> et non pas à celles de l'art. 191 LSP. Dans cette mesure, la décision du 3 mai 2016 qui prononce un blâme et une amende de 10'000.- fr., confirmée par le Tribunal cantonal, viole le droit fédéral, puisque celui-ci ne prévoit pas un tel cumul. L'intéressé ne s'est toutefois pas plaint des sanctions infligées devant le Tribunal cantonal et a même déclaré les accepter, bien qu'il constatait que le cumul de ces sanctions n'était pas possible au regard du droit fédéral. Il n'a attaqué cette décision qu'en tant qu'elle imposait la publication de la sanction dans la FAO. Les juges cantonaux ne se sont donc prononcés que sur la question de la publication. Partant, les mesures infligées ne font pas partie de l'objet du litige (cf. <ref-law>) et ne peuvent être modifiées.
4.
Ceci étant, il s'agit d'examiner si la sanction prononcée à l'égard du recourant peut être publiée dans la FAO, comme ordonné par la décision du 3 mai 2016 du Département de la santé, décision confirmée par le Tribunal cantonal.
4.1. On peut se demander si la publication de la sanction doit être considérée comme une mesure disciplinaire, prononcée en sus du blâme et de l'amende, ou si elle relève de la procédure. L'Exposé des motifs et projet de loi modifiant la loi du 29 mai 1985 sur la santé publique (235) souligne à cet égard que "la publication de la sanction peut avoir un effet dissuasif peut-être plus important dans certains cas que la sanction elle-même. Cette publication participe au souci d'informer le public pour mieux lui permettre de choisir" (Bulletin des séances du Grand Conseil du canton de Vaud, n° 37 I, Séance du mardi matin 20 novembre 2001, p. 5150). Il apparaît ainsi clairement que le législateur vaudois entendait de la sorte notamment durcir la sanction infligée. A titre de comparaison, peut être mentionné l'art. 34 de la loi fédérale du 22 juin 2007 sur l'Autorité fédérale de surveillance des marchés financiers (loi sur la surveillance des marchés financiers, LFINMA; RS 956.1) qui prévoit également la publication d'une décision finale de la FINMA en matière de surveillance, en cas de violation grave du droit de la surveillance; selon la jurisprudence, cette publication a également valeur de sanction propre (arrêt 2C_1055/2014 du 2 octobre 2015 consid. 4.2 et les arrêts cités).
Dès lors, la publication de la sanction du recourant dans la FAO en application de l'art. 191 al. 3 LSP viole le droit fédéral, en tant que cette mesure n'est pas prévue par le droit fédéral qui règle exhaustivement les sanctions disciplinaires pouvant être infligées aux personnes exerçant une profession médicale à titre indépendant.
4.2. A cela s'ajoute une autre contrariété avec le droit fédéral. En effet, il existe un registre des professions médicales universitaires qui est tenu par le Département fédéral de l'intérieur (ci-après: le Département fédéral) et qui est décrit à l'<ref-law>. Ce registre sert à l'information et à la protection des patients, à l'assurance qualité, à des fins statistiques, à l'établissement de la démographie médicale et à l'information de services étrangers; il a aussi pour but de simplifier les procédures nécessaires à l'octroi d'une autorisation de pratiquer (al. 2); il contient les données nécessaires pour atteindre les buts visés à l'al. 2; en font aussi partie les données sensibles au sens de l'art. 3 let. c de la loi fédérale du 19 juin 1992 sur la protection des données (al. 3). Les mesures disciplinaires y sont mentionnées, puisque, selon l'<ref-law>, les autorités cantonales compétentes doivent notamment annoncer sans retard audit département toute mesure disciplinaire prononcée (cf. aussi art. 7 al. 3 de l'ordonnance fédérale du 15 octobre 2008 concernant le registre des professions médicales universitaires [ordonnance concernant le registre LPMéd; RS 811.117.3] qui deviendra art. 7 al. 6 dans la nouvelle ordonnance qui entrera en vigueur le 1er janvier 2018 [RO 2017 2725]). L'<ref-law> prévoit que les données contenues dans le registre peuvent être consultées en ligne (al. 1); les données peuvent être consultées librement sauf celles relatives aux mesures disciplinaires et aux restrictions levées, ainsi que les motifs de refus de l'autorisation et de retrait au sens de l'<ref-law> qui ne peuvent être consultés que par les autorités chargées de l'octroi des autorisations de pratiquer (al. 2). Selon le Département, ces données ne peuvent pas être directement inscrites dans le registre des professions médicales; elles sont consignées dans un tableau séparé; les autorités cantonales qui ont accès à ces informations, conformément à l'<ref-law>, pourront toutefois savoir en consultant le registre s'il existe des données particulièrement sensibles sur un membre donné des professions médicales (cf. art. 5 let. b de l'ordonnance concernant le registre LPMéd); en présence de telles données, l'autorité cantonale peut recueillir des informations précises à ce sujet auprès de l'autorité fédérale au moyen d'une demande de renseignements électronique (projet de Commentaire du Département fédéral de l'intérieur de l'ordonnance concernant le registre des professions médicales universitaires, ad art. 7, p. 6).
Il découle donc de l'<ref-law> que seules les autorités chargées de l'octroi des autorisations de pratiquer ont accès au registre en ce qui concerne les mesures disciplinaires. Les autres autorités actives dans le domaine de la santé, pas plus que les personnes intéressées, ne peuvent prendre connaissance d'éventuelles mesures disciplinaires prononcées à l'encontre d'un praticien indépendant soumis à la loi fédérale sur les professions médicales. Dans cette mesure également, la publication dans la FAO de la sanction prononcée à l'encontre du recourant viole le droit fédéral.
5.
Compte tenu de ce qui précède, le recours est admis et l'arrêt attaqué est réformé en ce sens que la décision du 3 mai 2016 du Département de la santé ne sera pas publiée dans la FAO.
Il n'y a pas lieu de prélever des frais judiciaires (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'un avocat, le recourant a droit à des dépens qu'il convient de mettre à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente afin qu'elle statue sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt du 18 octobre 2016 du Tribunal cantonal est réformé en ce sens que la décision du 3 mai 2016 du Département de la santé ne sera pas publiée dans la FAO.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'000.- fr., à payer au recourant à titre de dépens, est mise à la charge du canton de Vaud.
4.
La cause est renvoyée au Tribunal cantonal du canton de Vaud, afin qu'il statue à nouveau sur les frais et dépens de la procédure accomplie devant lui.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Département de la santé et de l'action sociale et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 11 juillet 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon