Faits :
A.
A.a. A._, né en 1950, a obtenu son diplôme fédéral de médecin en 1976 et son titre postgrade en chirurgie en 1983; il a, par la suite, complété sa formation en chirurgie viscérale et vasculaire. En 1989, il a été autorisé à pratiquer dans les cantons de Vaud et de Neuchâtel. Il a travaillé à La Chaux-de-Fonds, puis, dès le 1er février 2007, à l'Hôpital de B._. Cet hôpital a, le 28 avril 2008, résilié le contrat de travail de A._. Celui-ci ayant produit un certificat médical valable dès le 29 avril 2008, puis rétroactivement dès le 1er avril 2008, ledit hôpital, estimant que la résiliation était nulle, a passé avec l'intéressé une convention de départ à l'amiable.
Le 28 janvier 2008, des incidents survenus sur treize patients traités par A._, dont dix opérés entre le 15 septembre et le 30 décembre 2007 avaient été signalés au Médecin cantonal du canton de Vaud (ci-après: le Médecin cantonal vaudois). Deux de ces cas ont, par la suite, fait l'objet d'une plainte. Le 15 septembre 2008, le Chef du Département de la santé et de l'action sociale du canton de Vaud (ci-après: le/la Chef/fe du Département de la santé) a saisi le Conseil de santé du canton de Vaud, considérant que les faits dénoncés étaient de nature à justifier une sanction disciplinaire à l'encontre de A._. Après avoir entendu celui-ci, cette autorité, dans son rapport du 8 janvier 2009, a noté que la capacité de travail du médecin, de septembre à décembre 2007, avait été restreinte (en raison d'une symptomatologie dépressive liée aux problèmes de santé de son fils) et qu'il n'avait pas été en état d'exercer sa profession sans exposer ses patients à certains risques, souffrances ou angoisses inutiles; l'intéressé avait banalisé la situation, de même qu'il avait mésestimé ses difficultés; la poursuite de son activité professionnelle ne pouvait se faire sans mesures de contrôle consistant en l'obligation de produire auprès du Médecin cantonal vaudois un certificat médical attestant une pleine capacité de travail.
Par décision du 8 mai 2009, le Chef du Département de la santé a renoncé à prononcer une sanction à l'encontre de A._ et a classé la procédure ouverte le 15 septembre 2008; il a notamment pris en considération le fait que l'intéressé avait reconnu les complications post-opératoires survenues sous sa responsabilité alors qu'il rencontrait des difficultés familiales, qu'il les avait regrettées, qu'il en avait largement subi les conséquences personnelles et professionnelles et qu'il s'était engagé à produire des certificats médicaux périodiques au Médecin cantonal vaudois, en cas de reprise d'une activité chirurgicale. Le Chef du Département de la santé a, néanmoins, adressé un avertissement à A._ et l'a "invité" à informer le Médecin cantonal vaudois s'il pratiquait à nouveau en qualité de chirurgien, afin que son aptitude à exercer ladite fonction à responsabilités élevées puisse être confirmée sans réserve de la part de son médecin traitant.
A.b. Par la suite, A._ a travaillé quelques mois comme médecin d'arrondissement d'une assurance, avant de rejoindre des établissements hospitaliers au Moyen-Orient. En date du 1er avril 2011, il a fait savoir au Département de la santé qu'il souhaitait reprendre une activité hospitalière en Suisse. Il a alors été reçu par le Médecin cantonal vaudois le 28 juin 2011, qui l'avait préalablement averti qu'il y avait lieu d'examiner les possibilités qui lui permettraient de reprendre une activité sous supervision pendant une période qui restait à définir.
Entre 2011 et 2012, l'intéressé a pratiqué la chirurgie dans une clinique en Belgique qui a signalé avoir mis un terme à leur collaboration, ainsi qu'avoir obtenu gain de cause dans un procès qui l'avait opposée au médecin.
Dès le mois de janvier 2013, A._ a repris son activité dans le canton de Neuchâtel. Le 12 mars 2015, la société exploitant les deux établissements médicaux pour lesquels l'intéressé travaillait a résilié la convention de collaboration les liant au regard de l'organisation et du climat insatisfaisants qui entouraient la pratique du médecin. Celui-ci s'étant engagé à adopter un comportement irréprochable envers l'ensemble des collaborateurs, ainsi qu'à respecter les procédures des établissements, la société a accepté de le réintégrer en avril 2015, avant d'à nouveau résilier la convention le 22 octobre 2015. Elle reprochait au médecin d'avoir eu une attitude agressive et un échange verbal inapproprié avec la secrétaire d'un confrère, d'avoir fourni des prestations à des patients sans leur indiquer les frais y relatifs, ainsi que d'avoir jeté le discrédit sur l'institution en utilisant un vocabulaire inadéquat dans des échanges avec l'avocat de la famille d'une patiente décédée. Le 18 mai 2016, la société exploitante et A._ ont trouvé un accord devant le juge civil.
Le mandataire de la famille de la patiente décédée à la suite de complications survenues peu après une intervention chirurgicale opérée sous la supervision de A._ a adressé, le 2 octobre 2015, une dénonciation au Médecin cantonal de la République et canton de Neuchâtel (ci-après: le Médecin cantonal neuchâtelois). Celui-ci a ouvert une procédure à l'encontre du médecin le 23 février 2016, qui incluait un second cas, rapporté le 24 mai 2016 également pour les suites d'une intervention.
Le 15 août 2016, la Commission de déontologie de la Société neuchâteloise de médecine a également dénoncé l'intéressé au Médecin cantonal de ce canton pour violation du secret professionnel et pour avoir proféré des accusations attentatoires à l'honneur de certaines personnes et/ou de l'Hôpital E._. Le Chef du Département des finances et de la santé de la République et canton de Neuchâtel (ci-après: le Chef du Département de la santé neuchâtelois) a, en date du 17 décembre 2018, retiré à A._ l'autorisation de pratiquer la médecine sous sa propre responsabilité professionnelle dans ce canton. En substance, il a considéré que l'ensemble des éléments du dossier démontrait clairement que celui-ci n'offrait ni les compétences requises ni les aptitudes personnelles pour assurer une pratique de la médecine assurant la sécurité des patients. Par arrêt du 15 février 2019, entré en force, le Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal neuchâtelois) a rejeté le recours de l'intéressé, retenant qu'il ne présentait pas les garanties nécessaires à un exercice irréprochable de la profession, multipliant les incidents tant à l'égard des autorités, que du corps médical et des patients et que, partant, il n'était pas digne de confiance au sens de la législation topique.
A.c. En date du 2 février 2017, A._ a informé le Médecin cantonal vaudois qu'il souhaitait reprendre une activité médicale dans le canton de Vaud dans un avenir proche. Cette lettre, qui ne faisait pas état d'un poste particulier, est restée sans suite. Le 7 novembre 2017, le Médecin cantonal vaudois a écrit à l'intéressé pour lui signifier qu'il avait récemment appris, par la presse, son installation auprès de la Clinique C._, dès le 1er octobre 2017, et l'a prié de lui indiquer son taux d'activité au sein de cette structure, ainsi que de lui transmettre un rapport médical complet de son médecin traitant, conformément aux exigences posées dans la décision du 8 mai 2009 du Chef du Département de la santé. A._ a confirmé, le 12 novembre 2017, qu'il avait établi une consultation à un taux d'activité de 10% auprès de ladite clinique, le reste de son activité se déroulant dans le canton de Neuchâtel et en Belgique; il était en excellente santé et n'avait pas de médecin traitant; il proposait une entrevue, afin que le Médecin cantonal vaudois puisse se rendre compte que l'enquête déclenchée par son prédécesseur était la conséquence du "complot fomenté par [ses] anciens confrères de [l'Hôpital de B._]" qui avaient conçu "une certaine jalousie de la présence d'un chirurgien qui les dépassait peut-être de la tête, des épaules et du thorax". Le Médecin cantonal vaudois n'a pas répondu à ce courrier.
Le 4 juin 2019, A._ a déposé plainte pénale pour calomnie contre le Médecin cantonal neuchâtelois et le Chef du Département de la santé de ce même canton, en raison d'un article de presse paru sur D._ le 31 mai 2019 à propos de son retrait d'autorisation de pratiquer.
Le 10 avril 2019, l'intéressé a sollicité de l'autorité sanitaire compétente vaudoise la délivrance d'une attestation de bonne conduite, dans le but de pouvoir pratiquer dans le canton de Genève. Dans ce cadre, le Médecin cantonal vaudois, informé de l'arrêt du Tribunal cantonal neuchâtelois du 15 février 2019, lui a demandé ce qu'il en était de son activité professionnelle dans le canton de Vaud et de se déterminer sur un éventuel retrait de son autorisation de pratiquer dans ce canton. Par décision du 16 décembre 2019, la Cheffe du Département de la santé a retiré l'autorisation de pratiquer de A._ à titre indépendant, rejeté la demande de délivrance d'une attestation de bonne conduite et retiré l'effet suspensif à un éventuel recours. Elle a jugé qu'au regard de l'arrêt du 15 février 2019 susmentionné, du fait que A._ n'avait annoncé qu'en octobre 2019 qu'il avait effectué plus de 150 opérations dans le canton de Vaud entre le 1er octobre 2017 et le 31 mars 2019 et qu'il avait sciemment ignoré les prescriptions du Chef du Département de la santé du 8 mai 2009 subordonnant sa pratique à un suivi médical régulier, l'intéressé n'était plus digne de confiance; l'atteinte portée à sa carrière serait limitée compte tenu de son âge (69 ans), si bien que le principe de la proportionnalité était respecté.
B.
B.a. Par arrêt du 4 mai 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._. Elle a en substance considéré que l'arrêt du Tribunal cantonal neuchâtelois du 15 février 2019, rendu à l'issue d'une instruction approfondie, bénéficiait d'une forte "crédibilité" en tant qu'il jugeait que le médecin n'était plus digne de confiance et que l'argumentation de celui-ci ne permettait pas de s'écarter de cette conclusion; à cela s'ajoutaient les événements intervenus dans le canton de Vaud qui démontraient que l'intéressé faisait trop souvent preuve de comportements incompatibles avec une pratique de la médecine propre à garantir la sécurité du système de soin et celle des patients; c'était donc à bon droit que l'autorisation de pratiquer avait été retirée à A._.
B.b. Un juge instructeur du Tribunal cantonal a, par décision du 5 mai 2020, déclaré sans objet le recours de A._ à l'encontre de la décision incidente du 11 mars 2020 dudit tribunal rejetant la requête de restitution de l'effet suspensif et retiré cet effet à un éventuel recours incident.
C.
A._ a déposé un "recours", complété par une écriture subséquente, devant le Tribunal fédéral et demande, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 4 mai 2020, de le rétablir dans son "droit de bénéficier, sans délai, de l'effet suspensif, en ordonnant au Département de la santé de [lui] délivrer [son] attestation de bonne conduite".
La Direction générale de la santé, ainsi que le Tribunal cantonal concluent au rejet du recours.
A._ s'est encore prononcé par écriture du 29 juillet 2020, complémentée le 5 août 2020.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law> [RS 173.110]) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186; <ref-ruling> consid. 1 p. 143).
1.1. L'intéressé, qui n'est pas représenté par un mandataire, n'a pas indiqué par quelle voie de recours il procède auprès du Tribunal fédéral. Cette absence de désignation ne saurait lui nuire si son écriture remplit les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1.1 p. 370; <ref-ruling> consid. 1.6 p. 275).
1.2. Le présent cas a trait au retrait d'une autorisation de pratiquer la médecine sous propre responsabilité et relève de la loi fédérale du 23 juin 2006 sur les professions médicales universitaires (loi sur les professions médicales, LPMéd; RS 811.11). Il s'agit donc d'une cause de droit public (<ref-law>), qui peut donc en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Le recours, déposé en temps utile (art. 100 et 46 al. 1 let. c LTF) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final (<ref-law>) rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) par l'intéressé qui a la qualité pour recourir (<ref-law>), est recevable.
1.3. Toutefois, dans la mesure où le recourant entendait également attaquer la décision du 5 mai 2020 du juge instructeur du Tribunal cantonal, son recours est irrecevable. Cette décision déclare sans objet le recours de l'intéressé à l'encontre de la décision incidente du 11 mars 2020 dudit tribunal rejetant la requête de restitution de l'effet suspensif, l'arrêt au fond ayant été rendu. Outre que cette décision ne pourrait faire l'objet d'un recours qu'aux conditions de l'<ref-law>, dont le recourant ne démontre pas qu'elles seraient remplies, dès lors que l'arrêt au fond a été rendu par l'autorité précédente, le recourant n'a plus d'intérêt actuel et pratique digne de protection au sens de l'art. 89 al. 1 let. c LTF.
1.4. Il convient, en outre, de souligner que le mémoire a un caractère prolixe et confus et qu'il est, au surplus, difficile d'y discerner les griefs, de sorte qu'il aurait pu être renvoyé à son auteur en application de l'<ref-law>. Le Tribunal fédéral y renonce exceptionnellement.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), alors qu'il ne revoit le droit cantonal, sous réserve d'exceptions non réalisées en l'espèce (cf. <ref-law>), que sous l'angle de la violation des droits fondamentaux - en particulier l'arbitraire. Les griefs de violation de ces droits sont soumis à des exigences de motivation accrue (cf. art. 42 al. 2 et 106 al. 2 LTF). La partie recourante doit indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés (<ref-ruling> consid. 2.1 p. 272; <ref-ruling> consid. 1.3 p. 41). Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain (<ref-ruling> consid. 6.1 p. 324).
3.
Le litige porte sur le retrait, par la Cheffe du Département de la santé, de l'autorisation du recourant à pratiquer la médecine sous sa propre responsabilité en application de l'<ref-law>, au motif que celui-ci n'est plus digne de confiance au sens de l'<ref-law>.
4.
Invoquant les 29 Cst. et 6 CEDH, le recourant se plaint d'une violation de son droit d'être entendu.
4.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1.1 p. 52 s.; <ref-ruling> consid. 6.3.1 p. 299 et les références citées).
4.2. Le recourant reproche aux juges précédents de ne pas lui avoir donné l'occasion de faire valoir son point de vue et d'avoir refusé de l'entendre.
Le Tribunal fédéral constate néanmoins qu'après avoir déposé son recours, l'intéressé a écrit les 20 janvier et 12 février 2020 à l'instance précédente et qu'il a pu répliquer en date du 7 mars 2020. Il est relevé ici que les garanties minimales en matière de droit d'être entendu découlant de l'art. 29 al. 2 Cst. ne comprennent en principe pas le droit d'être entendu oralement (<ref-ruling> consid. 9.6.1 p. 76 et les références citées). Le droit cantonal peut, selon les cas, offrir une protection plus étendue aux justiciables (cf. <ref-ruling> consid. 2.4.2.1 p. 95 s. a contrario) mais le recourant ne fait pas valoir que tel serait le cas en l'espèce. Quant à la procédure qui s'est déroulée devant la première instance administrative, le Tribunal cantonal a énuméré les actes d'instruction tels qu'ils s'y sont déroulés, démontrant que le médecin, qui était alors assisté d'un avocat, avait pu se prononcer sur le retrait envisagé de son autorisation de pratiquer. La lecture du mémoire démontre que celui-ci s'en prend plutôt à l'appréciation juridique des faits et soulève ainsi une question de droit qui sera examinée ci-dessous.
4.3. En tant que le recourant prétend que l'arrêt attaqué, daté du 4 mai 2020, a été rendu avant que le délai qui lui avait été imparti au 14 mai 2020 pour répondre aux observations de la partie adverse fut échu, son grief est mal fondé.
L'intéressé n'a pas compris que ses recours devant l'instance précédente ont eu pour effet légal d'induire l'ouverture de deux procédures distinctes. La première, conséquence de son recours contre la décision de la Cheffe du Département de la santé du 16 décembre 2019 a abouti à l'arrêt du 4 mai 2020 dans lequel le Tribunal cantonal s'est prononcé sur le fond de la cause (cause GE.2020.0003); le recourant s'y était vu octroyer un délai au 16 mars 2020 pour exercer son droit de réplique. L'arrêt au fond n'a donc pas été rendu avant l'échéance de ce délai. Durant l'instruction de cette affaire, la juge en charge du dossier a rendu une décision incidente le 11 mars 2020 rejetant la requête de restitution de l'effet suspensif. L'intéressé a attaqué cette décision incidente, ce qui a provoqué l'ouverture d'une seconde procédure (cause RE.2020.0002). C'est dans le cadre de celle-ci que le juge instructeur en charge de ce second dossier a fixé un délai au 14 mai 2020 pour la réplique du recourant. Dans cette seconde cause, dès lors que l'arrêt au fond avait été rendu le 4 mai 2020, le recours relatif à l'effet suspensif devenait sans objet, ce que le juge instructeur a constaté dans sa décision du 5 mai 2020. Il y avait donc deux procédures en cours devant le Tribunal cantonal avec deux juges instructeurs en charge chacun d'un dossier. Cela n'est que la conséquence des recours introduits par l'intéressé devant cette instance, ainsi que de l'application des règles de procédure y relatives et non le résultat "d'obscures manoeuvres qui se sont passées au Tribunal cantonal", selon les termes du médecin.
4.4. Dans la mesure où le recourant semble invoquer l'absence d'audience publique garantie par l'art. 6 par. 1 CEDH, qui concerne des "droits et obligations de caractère civil" (cf. <ref-ruling> consid. 5 p. 309; arrêt 2C_114/2017 du 14 février 2018 consid. 2.2), son grief tombe à faux. En effet, il ne ressort pas des faits de l'arrêt attaqué, qui lient le Tribunal fédéral (cf. consid. 5 infra), que l'intéressé aurait requis une telle audience devant le Tribunal cantonal ou qu'il aurait demandé à cette instance de procéder à une quelconque audition ou autre comparution. Or, l'obligation d'organiser des débats publics fondée sur l'art. 6 par. 1 CEDH et sous réserve de règles procédurales particulières, suppose une demande formulée de manière claire et indiscutable (<ref-ruling> consid. 2.4 p. 431; cf. <ref-ruling> consid. 2.3 p. 333); de plus, une requête de preuve (demande tendant à la comparution personnelle, à l'interrogatoire des parties, à l'audition de témoins ou à une inspection locale) ne suffit pas à fonder une telle obligation (<ref-ruling> consid. 5.2 p. 147; <ref-ruling> consid. 2.4 p. 431; <ref-ruling> consid. 3a p. 55).
4.5. Il découle de ce qui précède que le grief relatif à la violation du droit d'être entendu est rejeté.
5.
Le recourant se plaint de l'établissement manifestement inexact des faits.
5.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut critiquer les constatations de fait que si celles-ci ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, elle doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (cf. <ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 5.1 p. 356). Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 3.6.2 p. 287).
5.2. L'essentiel des écritures du recourant, qui ne mentionnent aucune des dispositions susmentionnées, tient dans une critique relative aux faits et à l'appréciation de l'ensemble des circonstances relatives au constat que celui-ci n'est plus digne de confiance quant à l'exercice de sa profession. Tel est par exemple le cas lorsqu'il se plaint de ce que le Tribunal cantonal n'a pas tenu compte des témoignages produits et qui sont élogieux à son égard. Or, il apparaît que cette autorité judiciaire a fait état de ces témoignages mais a considéré qu'ils ne contrebalançaient pas les nombreux problèmes ayant émaillé le parcours professionnel du recourant, problèmes qui se révélaient pertinents pour déterminer si celui-ci était encore digne de confiance. L'intéressé avance une argumentation appellatoire, en complétant ou en modifiant librement l'état de faits retenu dans l'arrêt attaqué, sans exposer en quoi les conditions rappelées ci-dessus seraient réunies ou alors il se borne à substituer l'appréciation des preuves opérée par les juges précédents par sa propre appréciation sans démontrer en quoi celle-là serait insoutenable. En conséquence, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ont été constatés dans l'arrêt attaqué.
6.
En ce qui concerne le fond de la cause, il ressort du recours que l'intéressé estime que c'est à tort que son autorisation de pratiquer la médecine lui a été retirée.
6.1. Le Tribunal cantonal a correctement exposé le droit applicable relatif à la mesure administrative que représente le retrait de l'autorisation de pratiquer sous propre responsabilité lorsqu'un médecin n'est plus "digne de confiance" (art. 36 al. 1 let. b et 38 al. 1 LPMéd), il y est, ainsi, renvoyé. Il en va de même de la jurisprudence relative à la notion "digne de confiance". Il est précisé, à cet égard, qu'un médecin peut être jugé indigne de la confiance que l'on doit pouvoir placer en lui au regard de son comportement envers ses patients (cf. par ex. arrêts 2C_504/2014 du 13 janvier 2015 [erreurs professionnelles]; 2C_57/2010 du 4 décembre 2010 [remise de médicaments pas autorisée et soins pratiqués illégalement par un naturopathe]), ses collègues (cf. par ex. arrêt 2C_630/2016 du 6 septembre 2016 [faute professionnelle lors d'une opération et rapport médical erroné]) ou les autorités sanitaires (cf. par ex. arrêts 2C_49/2019 du 16 mai 2019; 2C_814/2018 du 29 mars 2019 et 2C_853/2013 du 17 juin 2014 [omission de déclarer une procédure civile, pénale ou administrative menée à l'étranger]; 2C_1011/2014 du 18 juin 2015 [omission de déclarer une procédure pénale et dissimulation de l'existence de fautes professionnelles]; 2C_191/2008 du 24 juin 2008 [violation de l'autorisation d'exercer soumise à restrictions]; 2C_58/2008 du 14 avril 2008 [refus de se conformer aux exigences des autorités]).
6.2. En l'espèce, il est tout d'abord souligné qu'au regard des faits ayant abouti à l'arrêt du Tribunal cantonal neuchâtelois du 15 février 2019 (et relatés dans l'arrêt attaqué auquel il est renvoyé), il faudrait des éléments majeurs en faveur du recourant pour que l'appréciation du cas n'aboutisse pas à la confirmation du retrait de pratiquer de l'intéressé dans le canton de Vaud. En effet, celui-ci a démontré ne pas posséder les qualités nécessaires à un exercice irréprochable de la profession, multipliant les incidents tant à l'égard des autorités, que du corps médical et des patients. Dans ce cadre, les juges neuchâtelois ont notamment retenu à l'encontre du médecin, en lien avec le décès d'une de ses patientes, son comportement (dans la phase ayant abouti à la décision opératoire, dans celle en lien direct avec l'acte chirurgical, ainsi que dans la phase post-opératoire), et un manque de diligence; lui a également été reproché sa propension à systématiquement se décharger de sa responsabilité, à incriminer des collègues (médecin et infirmier), à se montrer incapable de se remettre en cause et à ne pas prendre la mesure de l'importance de son activité professionnelle exercée à titre indépendant. Le Tribunal cantonal neuchâtelois a ainsi jugé que le médecin représentait une mise en danger abstraite des patients et de la santé publique. Il a également souligné que l'intéressé avait violé le secret professionnel en portant plainte contre un de ses patients. De plus, il a relevé des difficultés de collaboration avec les professionnels de la santé et les institutions de soins, des réactions inadaptées en cas de revendications des patients, ainsi que l'absence de collaboration avec les autorités sanitaires.
Le Tribunal fédéral relève ensuite que, dans le cadre de la procédure disciplinaire ayant abouti à la décision du Chef du Département de la santé du 8 mai 2009 le recourant s'était engagé à produire des certificats médicaux périodiques au Médecin cantonal vaudois, en cas de reprise d'une activité chirurgicale; en outre, cette autorité l'avait "invité" à informer le Médecin cantonal vaudois s'il pratiquait à nouveau en qualité de chirurgien, afin que son aptitude à exercer ladite fonction puisse être confirmée de la part de son médecin traitant. Lorsque l'intéressé a contacté le Médecin cantonal vaudois le 1er avril 2011, car il souhaitait reprendre une activité hospitalière, cette autorité lui a indiqué qu'il y avait lieu d'examiner les possibilités qui lui permettraient de reprendre une activité sous supervision pendant une période qui restait à définir. Puis, l'intéressé a fait savoir audit médecin qu'il était encore trop tôt pour parler de ses plans et qu'il le tiendrait au courant le moment venu. Quelques années plus tard, alors qu'une procédure disciplinaire était en cours dans le canton de Neuchâtel où il exerçait alors, l'intéressé a, le 2 février 2017, informé le Médecin cantonal vaudois qu'il souhaitait reprendre une activité médicale dans le canton de Vaud dans un avenir proche, sans mentionner un poste particulier. Si le Médecin cantonal vaudois n'a effectivement pas donné suite à cette lettre, on peut se demander s'il n'appartenait pas au recourant de le contacter à nouveau, dès lors qu'il allait commencer à exercer auprès de la Clinique C._ le 1er octobre 2017. Quoi qu'il en soit, il est constaté que l'intéressé n'a pas averti cette autorité qu'il travaillerait dès le 1er août 2018 auprès d'un centre médical à Nyon, alors qu'il était légalement tenu de le faire (cf. art. 84 de la loi vaudoise du 29 mai 1985 sur la santé publique [LSP; RS/VD 800.01]). Ce n'est que dans le cadre de la procédure relative à la délivrance d'une attestation de bonne conduite requise par le recourant, afin de pouvoir pratiquer dans le canton de Genève, que l'autorité compétente a appris qu'il avait procédé à plus de 150 interventions chirurgicales. Certes, comme le recourant le relève, la décision du Chef du Département de la santé du 8 mai 2009 mentionne au conditionnel le fait que l'activité professionnelle pourrait être subordonnée à un suivi médical en cas de reprise de celle-ci. Cela étant, l'intéressé s'était engagé à fournir des certificats médicaux pour déterminer sa capacité à exercer à nouveau et il était invité à collaborer avec le Médecin cantonal vaudois. Par la suite, ce médecin avait conditionné la reprise professionnelle dans le canton de Vaud à une supervision. Lorsqu'il a effectivement recommencé son activité le 1er octobre 2017 à la Clinique C._, l'intéressé l'a sciemment pratiquée sans supervision et sans fournir de certificat médical au Médecin cantonal vaudois se déclarant lui-même en plein forme. Finalement, bien qu'il n'y était pas tenu légalement, au regard de la confiance ici en cause dans les relations avec les autorités sanitaires, il est à relever que l'intéressé s'est abstenu de signaler le retrait de son autorisation de pratiquer dans le canton de Neuchâtel aux autorités vaudoises.
Le nombre de conflits importants qui a opposé le recourant à ses employeurs tout au long de sa carrière est également à souligner. Après une fin abrupte de la collaboration avec l'Hôpital de B._, à la suite de plusieurs incidents survenus avec des patients (cf. partie "Faits" let. A.a), la clinique belge pour laquelle il a travaillé en 2011 et 2012 a mis un terme à leur relation contractuelle et a obtenu gain de cause dans un procès les opposant; dans le canton de Neuchâtel, la société exploitant les établissement médicaux où l'intéressé exerçait a également résilié la convention les unissant en mars 2015, invoquant des problèmes d'ambiance et d'organisation de travail, avant de réintégrer l'intéressé qui s'était engagé à modifier son comportement et à respecter les procédures/protocoles des établissements, pour à nouveau résilier leurs rapports en octobre 2015, dénonçant une attitude agressive et inappropriée envers un membre du personnel et un avocat qui représentait la famille d'une patiente décédée, ainsi que la fourniture de prestations sans indications des frais y relatifs. L'intéressé a également déposé des plaintes pénales à l'encontre du Médecin cantonal neuchâtelois, du Chef du Département de la santé de ce même canton, ainsi que de la Cheffe du Département de la santé vaudois qui, selon le recourant, "n'a pas été élue par le corps électoral au suffrage universel mais par une combine politicienne". Il a même déposé plainte pénale pour enrichissement illégal et détournement de fonds contre un de ses patients qui refusait de s'acquitter de la note d'honoraires, car l'intervention avait eu des conséquences graves sur sa santé. Si tout un chacun peut rencontrer des situations conflictuelles sur son lieu de travail, l'accumulation de celles-ci en ce qui concerne le recourant démontre une propension certaine à les engendrer dans le cadre professionnel.
Les faits de l'arrêt attaqué démontrent des difficultés à respecter les procédures/protocoles mis en place et à adopter une attitude raisonnable, dans certaines conditions, avec ses collègues et les autorités administratives en général. Certes, le recourant a produit des témoignages faisant état de la satisfaction de patients et de professionnels de la santé à son égard. Ceux-ci ne permettent pas pour autant faire abstraction des éléments susmentionnés qui dénotent un comportement qui ne présente pas les garanties nécessaires à un exercice irréprochable de la profession, tel que cela devrait être le cas.
L'intéressé se targue d'avoir un fort caractère, mais c'est bien cette personnalité qui semble à tout le moins en partie à l'origine de ses problèmes. Il faut souligner ici que la condition de l'<ref-law>, qui veut que l'autorisation de pratiquer sous propre responsabilité ne peut être délivrée que si le requérant est "digne de confiance", fait référence de façon implicite, entre autres éléments, à la personnalité d'un individu; ce sont, en effet, des traits de caractère qui poussent une personne à agir d'une certaine façon et qui, par conséquent, influencent le point de savoir si celle-ci est ou non digne de confiance.
6.3. Au regard des considérations qui précèdent, le Tribunal fédéral ne peut que conclure que le recourant n'est pas digne de confiance au sens de l'<ref-law> non seulement dans ses relations avec les patients et ses collègues, mais également face aux autorités médicales. Partant, la condition personnelle pour obtenir une autorisation de pratiquer, sous propre responsabilité professionnelle, n'est plus remplie et celle-ci doit être retirée à l'intéressé en application de l'<ref-law>.
7.
Le recourant allègue encore une violation du principe de proportionnalité. Il relève, à cet égard, qu'il "n'[avait] fait que demander un certificat de bonne conduite alors même que l'enquête 2007-2009 dont on persiste abusivement à se prévaloir est prescrite et que l'affaire du 02.10.2014 est encore incidente", que le Médecin cantonal vaudois n'avait jamais "daigné répondre à [ses] cinq courriers et deux sollicitations d'entretien, que la Cheffe du Département de la santé a répandu des propos diffamatoires", qu'il n'avait pas pu s'exprimer équitablement et publiquement et que le Tribunal cantonal avait "enfreint la séparation des pouvoirs, en avalisant une mesure prise en se moquant éperdument de [ses] droits les plus fondamentaux" et que l'arrêt de cette autorité était " l'archétype du procès de délit de sale gueule ".
7.1. Les principes généraux du droit administratif, dont celui de la proportionnalité, doivent être appliqués dans le cadre de l'examen d'un retrait de l'autorisation de pratiquer. Contrairement aux mesures disciplinaires, où une interdiction d'exercer une profession indépendante peut être temporaire ou un autre type de sanction peut être prononcé (avertissement, amende, etc.), l'<ref-law> ne prévoit aucune mesure moins contraignante que le retrait (définitif) de l'autorisation de pratiquer, lorsque les conditions posées pour l'octroi de celle-ci ne sont plus remplies (cf. arrêt 2C_1011/2014 du 18 juin 2015 consid. 6.2). Cela étant, la mise en oeuvre du principe de proportionnalité pourrait imposer de conditionner l'autorisation de pratiquer à des clauses accessoires au sens de l'<ref-law>, dans la mesure où cela s'avérerait possible, plutôt que de la retirer ou alors limiter l'autorisation d'exercer à certaines activités (cf. arrêt 2C_630/2016 du 6 septembre 2016 relatif à une décision incidente sur l'effet suspensif: le chirurgien en cause, qui avait commis une erreur médicale, puis rédigé des rapports médicaux erronés, s'était vu interdire les actes de chirurgie, mais avait été autorisé à continuer à procéder à des consultations durant la procédure à son encontre).
7.2. Les arguments avancés in casu par le recourant ne sont pas pertinents. L'atteinte à sa sphère économique est limitée, puisque celui-ci, né en 1950, a largement dépassé l'âge de la retraite. Pour le reste, aucune des mesures moins radicales envisageables ne pourrait être retenue en l'espèce. Outre que le recourant ne fait que demander l'annulation du retrait prononcé et qu'il ne propose, partant, aucune mesure plus légère, force est de constater qu'aucune de celles préalablement envisagées par les autorités sanitaires n'a été couronnée de succès. En effet, le recourant ne s'est pas plié à l'obligation, qui lui avait été imposée par le Chef du Département de la santé, de fournir une attestation de son médecin traitant le jour où il reprendrait l'exercice de la médecine dans le canton de Vaud. Il ne s'est pas non plus soumis à la supervision évoquée par le Médecin cantonal vaudois en 2011. Au regard des éléments évoqués ci-dessus, ce retrait de l'autorisation de pratiquer sous propre responsabilité professionnelle de l'intéressé, qui a fait preuve, depuis des années, d'un comportement inadéquat envers ses patients, ses collègues, ainsi que les autorités médicales ne viole pas le principe de proportionnalité.
8.
Le recourant mentionne l'art. 192 LSP relatif à la prescription de la poursuite pouvant mener à une sanction. Il s'agit là d'une disposition de droit cantonal qui est soumise aux exigences de motivation susmentionnées (cf. consid. 2). Le recours, qui ne cite pas l'art. 9 Cst. à cet égard ni l'application arbitraire du droit cantonal, ne démontre pas en quoi cette disposition s'appliquerait au présent cas (qui relève d'une mesure administrative et non d'une sanction disciplinaire) et propose une discussion générale plus qu'une argumentation juridique précise (comme c'est d'ailleurs le cas de la totalité de l'écriture). Il ne remplit ainsi pas lesdites exigences. Partant, il ne sera pas entré en matière à cet sujet.
9.
Il découle de ce qui précède que le recours est rejeté. La requête d'effet suspensif devient ainsi sans objet.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'effet suspensif est sans objet.
3.
Les frais, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, au Département de la santé et de l'action sociale, Service de la Santé publique, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 29 septembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon