Sachverhalt: A. Dr. A._ erhielt am 3. Oktober 2005 eine Berufsausübungsbewilligung als Zahnarzt im Kanton St. Gallen. Am 9. Mai 2012 teilte das Gesundheitsdepartement des Kantons St. Gallen (hiernach: Gesundheitsdepartement) Dr. A._ mit, dass es aufgrund von verschiedenen Aufsichtsbeschwerden beabsichtige, ein Disziplinarverfahren gegen ihn zu eröffnen. Im Dezember 2012 gab Dr. A._ die zahnärztliche Tätigkeit im Kanton St. Gallen auf. Er ist gegenwärtig im Kanton Thurgau tätig. B. Mit Verfügung vom 28. Mai 2014 sprach das Gesundheitsdepartement des Kantons St. Gallen aufgrund von Verletzungen gegen Berufspflichten gegenüber Dr. A._ ein definitives und uneingeschränktes Verbot der selbständigen Berufsausübung als Zahnarzt aus. Gleichzeitig verfügte es den Entzug der am 3. Oktober 2005 erteilten Berufsausübungsbewilligung als Zahnarzt (Ziff. 7 des Dispositivs der Verfügung des Gesundheitsdepartements), wobei es einer allfälligen Beschwerde die aufschiebende Wirkung entzog. Am 4. Juni 2014 erhob Dr. A._ Beschwerde an das Verwaltungsgericht des Kantons St. Gallen; darin ersuchte er unter anderem um Wiederherstellung der aufschiebenden Wirkung hinsichtlich des Entzugs der Berufsausübungsbewilligung. Mit Verfügung vom 21. November 2014 wies der Präsident des Verwaltungsgerichts dieses Gesuch ab. C. Mit Beschwerde ans Bundesgericht vom 23. Dezember 2014 beantragt Dr. A._ die Aufhebung des vorinstanzlichen Entscheids. Hinsichtlich Ziff. 7 des Dispositivs der Verfügung des Gesundheitsdepartements sei die aufschiebende Wirkung wiederherzustellen. Eventualiter sei die Angelegenheit zur neuen Beurteilung und Behandlung an die Vorinstanz zurückzuweisen. Während das Gesundheitsdepartement auf eine Vernehmlassung verzichtet, beantragt der Präsident des Verwaltungsgerichts die Abweisung der Beschwerde.