Sachverhalt: A. A._ (geb. 1957) erhielt am 28. Oktober 2011 eine Bewilligung im Kanton St. Gallen zur selbständigen Berufsausübung als Therapeut der Komplementär- und Alternativmedizin für ein eingeschränktes Tätigkeitsspektrum sowie für die Abgabe von ausgewählten Präparaten. Die Verfügung erlaubte ihm, den akademischen Titel "Dr. hol. med. (Universität B._) " zu tragen und führte das erlaubte sowie das untersagte Tätigkeitsspektrum aus. Darüber hinaus enthielt die Verfügung unter Verweis auf die einschlägigen Gesetzesbestimmungen Ausführungen zum Praxisstandort, zu dessen Änderung und Meldung sowie zur Berufsbezeichnung, Anpreisung und zu den Berufspflichten. B. Am 5. Juni 2012 teilte die Gesundheitsdirektion des Kantons Zürich dem Gesundheitsdepartement des Kantons St. Gallen mit, sie habe Kenntnis davon erhalten, dass A._ im Kanton St. Gallen tätig sei, obschon ihm im Kanton Zürich seit April 2012 definitiv verboten sei, Heiltätigkeiten durchzuführen. Die Verbotsverfügung vom 18. April 2012 hält fest, dass A._ im Kanton Zürich am 30. März 2009 insbesondere wegen mangelnder Vertrauenswürdigkeit bloss gestattet werden konnte, im bewilligungsfreien Bereich tätig zu sein statt im vollumfänglichen heilpraktischen Umfang entsprechend der Bewilligung des Kantons Appenzell Ausserrhoden. Das Bundesgericht hat die dagegen erhobene Beschwerde abgewiesen (Urteil 2C_57/2010 vom 4. Dezember 2010). Aufgrund einer Anzeige des Bezirksarztes des Bezirks Hinwil wegen schwerwiegender Verstösse gegen das Gesundheitsrecht untersagte der Kantonsärztliche Dienst Zürich A._ am 24. August 2011 im Sinne einer vorsorglichen Massnahme ab sofort jegliche Heiltätigkeit im Kanton Zürich. Mit der bereits erwähnten Verfügung vom 18. April 2012 bestätigte der Kantonsärztliche Dienst das Berufsverbot, welches allerdings noch nicht rechtskräftig ist, weil das Rechtsmittelverfahren bis zum Abschluss des Strafverfahrens sistiert blieb und im Moment noch nicht abgeschlossen ist. Die strafrechtliche Untersuchung wiederum führte zu einer Verurteilung von A._ durch das Bezirksgericht Hinwil wegen mehrfacher Widerhandlung gegen das kantonale Gesundheitsgesetz (nichtbewilligte Druckinfiltration, illegale Blutentnahme bei drei Personen, unzulässige chirurgische Hautentfernung und täuschende Titelverwendung) zu einer Busse von Fr. 6'000.--. Das Obergericht des Kantons Zürich sprach am 27. August 2013 A._ der mehrfachen Widerhandlung und der mehrfachen fahrlässigen Widerhandlung gegen das Gesundheitsgesetz schuldig und wies im Übrigen die Berufung ab. Es beurteilte die Blutentnahme und das Ausschneiden von Gewebeteilen bei einer Patientin bloss als fahrlässige Begehung. Das Strafmass blieb jedoch bestehen. Das Bundesgericht bestätigte den Schuldspruch mit Urteil 6B_966/2013 vom 21. Februar 2014. C. Mit Verfügung vom 12. Mai 2014 entzog das Gesundheitsdepartement St. Gallen A._ die Bewilligung zur selbständigen Berufsausübung als Therapeut der Komplementär- und Alternativmedizin mit der Auflage, dass er unverzüglich den Betrieb einzustellen und dies bis am 10. Juni 2014 zu belegen habe. Die aufschiebende Wirkung einer allfälligen Beschwerde wurde entzogen. Dagegen gelangte A._ an das Verwaltungsgericht des Kantons St. Gallen, welches die Beschwerde mit Entscheid vom 21. Oktober 2014 abwies. D. A._ legt mit Eingabe vom 7. November 2014, welche am 28. November 2014 ergänzt wurde, Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ein. Er beantragt, der Entscheid des Verwaltungsgerichts St. Gallen sei vollumfänglich aufzuheben und es sei ihm die unbefristet erteilte Bewilligung zur selbständigen Berufsausübung als Therapeut der Komplementär- und Alternativmedizin im Kanton St. Gallen weiterhin zu gewähren, allenfalls unter der Auflage der Durchführung einer amtlich angeordneten Supervision und/oder zweckdienlicher Auflagen und Bedingungen. Zusätzlich sei regelmässig durch einen Mitarbeiter des Gesundheitsdepartements des Kantons St. Gallen oder durch eine andere Fachperson eine amtliche Supervision im Komplementärzentrum des Beschwerdeführers in U._/SG durchzuführen, wobei deren Kosten durch ihn zu tragen seien. Eventualiter sei die Sache an das Verwaltungsgericht des Kantons St. Gallen zurückzuweisen. Subeventualiter sei ihm eine angemessene Frist von sechs Monaten für die Aufgabe des Komplementärzentrums in U._/SG zu gewähren. Mit Verfügung vom 12. November 2014 hielt der Abteilungspräsident fest, dass bis zum Entscheid über das Gesuch um aufschiebende Wirkung alle Vollziehungsvorkehrungen zu unterbleiben haben. Am 2. Dezember 2014 erkannte er der Beschwerde die aufschiebende Wirkung zu. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen. Das Gesundheitsdepartement verzichtet auf eine Vernehmlassung.