Faits :
A.
A.a. A._, ressortissant français né en 1977, a obtenu un diplôme d'infirmier en soins généraux en 2003. Il est marié et est domicilié en France.
Entre janvier 2008 et décembre 2010, A._ a entretenu des relations sexuelles avec deux patientes dont il s'occupait à l'hôpital de B._, qui constitue le département de psychiatrie de l'hôpital C._. Ces relations ont eu lieu aussi bien sur son lieu de travail qu'à l'extérieur. Dans un cas, elles se sont poursuivies après la fin de l'hospitalisation de la patiente.
A.b. Une des patientes a déposé plainte pénale le 22 novembre 2010; l'autre patiente a participé à la procédure pénale en tant que " personne lésée ". A._ a été placé en détention provisoire du 13 décembre 2010 au 2 mars 2011. Après sa sortie de prison, il a retrouvé un emploi comme infirmier dans une clinique privée de soins généraux en Haute-Savoie. Il a été licencié en juin 2015.
Le Tribunal correctionnel de la Côte a condamné A._, le 27 janvier 2014, à une peine privative de liberté de deux ans avec sursis pendant cinq ans pour actes d'ordre sexuel avec des personnes hospitalisées, détenues ou prévenues et abus de la détresse. Le tribunal lui a également interdit d'exercer la profession d'infirmier pour une durée de 5 ans. Il a retenu que les deux patientes (la première hospitalisée pour décompensation maniaque d'un trouble affectif bipolaire et la seconde pour des traumatismes répétés consécutifs à des actes d'ordre sexuel et de violences intrafamiliaux) se trouvaient au moment des faits dans un état de détresse manifeste et que toutes deux étaient hospitalisées pour se mettre à l'abri de situations de désarroi profond; A._ avait profité de la dépendance des patientes pour commettre ces actes; il avait agi en étant conscient de la diminution de la capacité de décider et de se défendre des deux personnes concernées, ainsi que des graves conséquences que ces actes pouvaient entraîner pour le futur des deux patientes. L'expert psychiatrique mandaté a estimé que la responsabilité de A._ était pleine et entière, l'intéressé ayant parfaitement conscience du caractère illicite de ses agissements et sa capacité à se déterminer d'après cette appréciation n'étant pas diminuée; l'intéressé manifestait une certaine culpabilité mais il avait beaucoup de peine à reconnaître qu'il avait pu, par son comportement, causer du tort à ses victimes; les capacités d'introspection du prévenu étaient très limitées à l'époque de l'examen.
A.c. Le 2 juillet 2015, le Chef du Département de la santé et de l'action sociale du canton de Vaud a décidé d'interdire définitivement à A._ toute pratique professionnelle dans des établissements psychiatriques publics ou privés, d'en informer les établissements psychiatriques et de publier la décision dans la Feuille d'avis officielle du canton de Vaud.
B.
Par arrêt du 28 février 2017, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._, après avoir ordonné une expertise psychiatrique dont il est ressorti que le risque du même type de conduite dans des circonstances similaires ne pouvait pas être exclu et que, par conséquent, l'exercice de la profession d'infirmier en psychiatrie était, en l'état, déconseillé. Le Tribunal cantonal a jugé que la sanction, si elle représentait une atteinte à la liberté économique de l'intéressé, reposait sur une base légale, répondait à un intérêt public, à savoir la protection des patientes hospitalisées dans des hôpitaux psychiatriques et était proportionnée. Il a en substance retenu que les capacités introspectives de A._ restaient limitées, qu'il éprouvait toujours de la peine à admettre que son comportement avait pu causer du tort à ses victimes et que son discours n'avait que peu évolué depuis la première expertise en 2012; il n'avait pas entrepris de travail psychothérapeutique. Les juges précédents ont également estimé que la décision attaquée n'empêchait pas A._ d'exercer sa profession d'infirmier puisqu'elle portait uniquement sur l'activité d'infirmier en psychiatrie; de plus, celui-ci disposait d'un diplôme d'infirmier en soins généraux, sans formation particulière en psychiatrie, ce qui relativisait l'impact économique de la sanction. Une interdiction de huit ans, comme requise par A._, ne garantirait pas de manière absolue la sécurité des patientes des établissements psychiatriques; en outre, elle ne présentait que peu d'intérêt pour le recourant: au-delà de cinq ou six ans d'interdiction d'exercer, la coupure avec le monde professionnel est en effet telle qu'une reprise de l'activité devient très difficile; dans le cas du recourant, ces difficultés seraient encore augmentées par le fait qu'une reprise de l'activité d'infirmier dans un établissement psychiatrique impliquerait au préalable un travail psychothérapeutique approfondi.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de lui interdire toute pratique professionnelle dans des établissements psychiatriques privés ou publics pour une durée de quatre ans à compter de la date à laquelle le Conseil d'Etat s'est prononcé; subsidiairement, de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens des considérants.
Le Département de la santé et de l'action sociale du canton de Vaud (ci-après : le Département de la santé) conclut au rejet du recours. Le Tribunal cantonal se réfère aux considérants de son arrêt.

Considérant en droit :
1.
Le recours en matière de droit public, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) par l'intéressé qui a la qualité pour recourir (<ref-law>), est recevable (art. 82 let. a et 90 LTF).
2.
2.1. Dans un grief de nature formelle, le recourant invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il avait demandé au Tribunal cantonal de procéder à l'audition du psychiatre que ledit tribunal avait mandaté, afin d'évaluer notamment le risque de récidive quant aux actes commis. Le recourant souhaitait obtenir des précisions sur le rapport de l'expert et plus précisément quant à " l'incidence de son évolution (plus grande affirmation de soi) sur le pronostic ".
2.2. Dès lors qu'ils avaient l'expertise psychiatrique à disposition, les juges précédents pouvaient estimer, dans une appréciation anticipée des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62) dénuée d'arbitraire, que ce document était suffisamment clair, de sorte qu'il n'appelait pas de précisions complémentaires. Ce d'autant plus que le psychiatre a répondu à des questions précises émanant du Tribunal cantonal, ce qui a amené cette autorité à avoir la certitude que l'audition ne pourrait l'amener à modifier son opinion. Finalement, contrairement à ce que prétend le recourant, les juges précédents ont indiqué les raisons pour lesquelles ils renonçaient à l'audition de l'expert (dossier complet, rapport répondant aux questions posées); ils n'avaient pas, dans ce cadre, à expliquer en détail ce qui a motivé leur décision.
Le grief relatif à la violation du droit d'être entendu est rejeté.
3.
Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF. La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266).
Le recourant souligne que les faits retenus dans l'arrêt attaqué ne sont pas contestés mais il estime que ceux-ci doivent être complétés. A la suite de quoi, il énumère six éléments dont il requiert qu'il soit tenu compte. Le Tribunal fédéral n'est pas une instance d'appel et une telle façon de procéder ne répond pas aux exigences susmentionnées. Par conséquent, le grief relatif à la constatation des faits ne sera pas examiné.
4.
L'objet du litige a trait à la mesure disciplinaire infligée au recourant, à savoir l'interdiction définitive de pratiquer dans des établissements psychiatriques publics ou privés.
5.
Invoquant l'art. 27 Cst. et sa liberté économique, le recourant se plaint de ce que l'interdiction définitive de toute pratique professionnelle dans des établissements psychiatriques publics ou privés viole le principe de proportionnalité. L'interdiction à vie serait la sanction disciplinaire la plus grave et devrait être réservée aux personnes incapables de s'amender; or, il n'avait commis qu'une seule infraction et il ne serait pas encore permis de conclure à l'absence totale d'espoir. Le seul fait qu'il serait en mesure d'exercer une autre profession à laquelle il se destinait, à savoir infirmier en entreprise ne permettait pas de nier un impact sur sa liberté économique; ses possibilités de réaliser un gain seraient limitées, dès lors que les postes auxquels il peut prétendre seraient restreints du fait de l'interdiction. Une interdiction d'une durée de quatre ans à partir de la décision du Département de la santé serait adéquate, ce qui équivaudrait dans les faits à une durée de huit ans.
5.1. Selon l'art. 27 Cst., la liberté économique est garantie (al. 1); elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (al. 2). Cette liberté protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (<ref-ruling> consid. 4.2 p. 135; <ref-ruling> consid. 4c/aa p. 29).
Aux termes de l'art. 36 Cst., toute restriction d'un droit fondamental doit être fondée sur une base légale; les restrictions graves doivent être prévues par une loi; les cas de danger sérieux, direct et imminent sont réservés (al. 1); toute restriction d'un droit fondamental doit, en outre, être justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (al. 2) et être proportionnée au but visé (al. 3); l'essence des droits fondamentaux est inviolable (al. 4). Pour être conforme au principe de la proportionnalité (art. 36 al. 3 Cst.), une mesure restrictive doit être apte à produire le résultat escompté et celui-ci ne doit pas pouvoir être atteint par une mesure moins incisive; en outre, ce principe interdit toute limitation allant au-delà du but visé et exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (<ref-ruling> consid. 3.6 p. 175; <ref-ruling> consid. 4.4.4 p. 205; <ref-ruling> consid. 5.7 p. 218). A cet égard, l'autorité doit tenir compte en premier lieu d'éléments objectifs, à savoir des conséquences que la faute a entraînées sur le bon fonctionnement de la profession en cause, et de facteurs subjectifs, tels que la gravité de la faute, ainsi que les mobiles et les antécédents de l'intéressé (<ref-ruling> consid. 2b p. 232).
Le Tribunal fédéral examine librement si une mesure répond à un intérêt public suffisant et satisfait au principe de la proportionnalité (<ref-ruling> consid. 4 p. 339; <ref-ruling> consid. 3.3 p. 68, ainsi que <ref-ruling> consid. 4 p. 156 ss, qui précise le pouvoir d'examen du Tribunal fédéral en la matière). Il laisse cependant une certaine liberté à l'autorité disciplinaire dans le choix de la sanction à prononcer, à condition qu'elle respecte le principe de la proportionnalité (<ref-ruling> consid. 13c p. 121; arrêt 2C_574/2015 du 5 février 2016 consid. 4.1).
5.2. La mesure litigieuse se base sur l'art. 191 al. 1 let. f de la loi vaudoise du 29 mai 1985 sur la santé publique (LSP; RS/VD 800.01), relatif aux sanctions administratives, qui prévoit que, lorsqu'une personne n'observe pas la ladite loi ou ses dispositions d'application, lorsqu'elle a fait l'objet d'une condamnation pour un crime ou un délit, lorsqu'elle est convaincue d'immoralité ou de procédés frauduleux ou lorsqu'elle fait preuve dans l'exercice de sa profession de négligence, de résistance aux ordres de l'autorité ou d'incapacité, le département peut notamment prononcer l'interdiction de pratiquer. Il sied de relever ici que la loi fédérale du 30 septembre 2016 sur les professions de la santé (LPSan), dont le délai référendaire a échu le 19 janvier 2017 (FF 2016 7383), n'est pas encore entrée en vigueur.
En tant qu'elle empêche définitivement le recourant d'exercer son activité professionnelle dans des établissements psychiatriques privés et publics, la sanction prononcée constitue une atteinte grave à la liberté économique garantie par l'art. 27 Cst. Elle repose sur une base légale, ce qui n'est au demeurant pas contesté. N'est pas non plus contesté le fait qu'elle réponde à un intérêt public. Il reste donc à examiner si cette mesure respecte le principe de proportionnalité.
5.3. L'intérêt public à éloigner le recourant de personnes psychologiquement perturbées est indéniable, puisqu'il s'en est pris à des patientes fragiles se trouvant dans un état de détresse, alors que ces personnes ont tout particulièrement besoin de pouvoir faire totalement confiance aux personnes qui les soignent. Les manquements qui lui sont reprochés sont graves. Ils ont, de plus, été commis sur deux patientes.
Les arguments soulevés par le recourant quant à son intérêt privé à voir l'interdiction de pratiquer limitée à quatre ans ne sauraient convaincre. En effet, la sanction disciplinaire doit servir principalement à rétablir le fonctionnement correct du système de santé. Or, l'arrêt attaqué mentionne à plusieurs reprises l'incapacité de l'intéressé à se remettre en cause et à prendre conscience de sa responsabilité dans les événements pour lesquels il a été condamné pénalement; il ressort encore de cet arrêt que, s'il avait manifesté une certaine culpabilité, le recourant avait beaucoup de peine à reconnaître qu'il avait pu, par ses agissements, causer du tort à ses victimes. Une telle dénégation de la réalité, couplée à une absence de psychothérapie, ne parle pas en faveur d'une interdiction limitée dans le temps. Si le recourant relève qu'une interdiction définitive devrait être réservée aux personnes incapables de s'amender, les éléments susmentionnés ne démontrent pas que le recourant en serait lui capable.
L'argument de l'intéressé selon lequel l'interdiction de pratiquer en cause limite les possibilités de réaliser un gain n'est pas pertinent, dès lors que seuls les hôpitaux psychiatriques lui sont interdits, à savoir une petite minorité des établissements médicaux publics et privés. Le recourant, détenteur d'un diplôme d'infirmier en soins généraux, est donc toujours à même d'exercer la profession pour laquelle il a été formé.
Le recourant met en avant un arrêt genevois: il s'agirait du seul cas où un retrait définitif de l'autorisation de pratiquer aurait été prononcé; or, le médecin concerné, condamné pour des actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, était un récidiviste, puisqu'il avait déjà subi une sanction administrative. Cette jurisprudence n'est pas pertinente par rapport à la présente affaire, puisqu'un médecin se voyant privé de son autorisation de pratiquer définitivement ne peut plus du tout exercer sa profession. Tel n'est pas le cas du recourant qui peut travailler dans tous les établissements médicaux publics et privés à part ceux consacrés à la psychiatrie.
L'intéressé se plaint de l'argumentation suivante du Tribunal cantonal: cette autorité a jugé qu'une interdiction définitive de pratiquer lui était plus favorable qu'une interdiction temporaire car, au-delà de cinq ou six ans d'interdiction d'exercer, la coupure avec le monde professionnel était telle qu'une reprise de l'activité devenait très difficile; ce d'autant plus que, dans le cas du recourant, une interdiction temporaire suivie d'une reprise de l'activité d'infirmier dans un établissement psychiatrique impliquerait au préalable un travail psychothérapeutique approfondi, ce qu'il n'avait pas entrepris. Il est vrai qu'il est incongru de motiver une interdiction de pratiquer définitive par l'intérêt qu'y trouverait la personne sanctionnée, alors que celle-ci requiert une interdiction temporaire; est en effet déterminant quant à une telle interdiction l'intérêt public consistant à rétablir le fonctionnement correct du système de santé. Ce seul motif ne justifie néanmoins pas une modification de la décision litigieuse, au regard de l'ensemble des éléments à prendre en compte pour évaluer la proportionnalité de la mesure disciplinaire.
En conclusion, l'intérêt privé du recourant doit céder le pas à l'intérêt public, considéré comme prépondérant. L'interdiction définitive de pratiquer dans des établissements psychiatriques publics et privés constitue une restriction admissible de la liberté économique et les art. 27 et 36 Cst. n'ont pas été violés.
6.
Le recourant reproche encore au Tribunal cantonal une violation du droit à la liberté personnelle (art. 10 al. 2 Cst.), ainsi que de la dignité humaine (art. 7 Cst.), mettant en avant l'absence totale d'espoir que représenterait la sanction infligée; cette sanction aurait également des effets sur son psychisme et sur la considération dont il jouissait auprès de ses pairs.
Outre que l'on ne voit pas en quoi la présente cause relèverait d'une quelconque atteinte au droit à la liberté personnelle et à la dignité humaine, comme tout droit fondamental, ces deux principes peuvent être restreints. Or, comme on l'a vu ci-dessus, la mesure prononcée répond à un intérêt public prépondérant et est proportionnée. Partant, le grief est rejeté.
7.
Au regard de ce qui précède, le recours est rejeté.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département de la santé et de l'action sociale et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 31 juillet 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon