Habilitation, hat sich ergeben:
A.- Die Habilitationsordnung der Universität St. Gallen vom 21. Juni 1999 regelt die Voraussetzungen und das Verfahren sowie die Zuständigkeiten für die Habilitation und die Stellung des Privatdozenten an der Universität St. Gallen.
Sie bestimmt (vgl. Art. 23), dass sich das Verfahren für Habilitationsgesuche, die vor dem 1. Oktober 1999 eingereicht worden sind, nach dem bisherigen Recht richtet, d.h.
nach den Bestimmungen der Habilitationsordnung vom 29. Juni 1979. Danach hat, wer sich an der Hochschule St. Gallen habilitieren will, ein Gesuch einzureichen (Art. 5), dem u.a. eine Habilitationsschrift beizulegen ist (Art. 6).
Der Rektor prüft das Gesuch und die Beilagen auf ihre Vollständigkeit und übermittelt sie der zuständigen Abteilung (Art. 7). In der Folge bestimmt der Abteilungsausschuss Experten zur Begutachtung der Habilitationsschrift; es sind mindestens drei Gutachten einzuholen (Art. 9 Abs. 1). Nach Prüfung der Gutachten beschliesst der Abteilungsausschuss, ob das Habilitationsverfahren fortgesetzt oder wegen Mängel der Habilitationsschrift abgebrochen wird (Art. 9 Abs. 2).
Beschliesst er Abbruch des Habilitationsverfahrens, so teilt er dem Bewerber den Beschluss unter Angabe der Gründe mit (Art. 9 Abs. 3 erster Satz). Beschliesst er die Fortsetzung des Habilitationsverfahrens, so lädt er den Bewerber zu Probevortrag und Kolloquium ein (Art. 10).
B.- Dr. R._ reichte am 3. Januar 1996 beim Rektor der Universität St. Gallen seine Habilitationsschrift mit dem Thema "Topmanager komplexer, grenzüberschreitender Unternehmungen und Führungsinformationssysteme: Mythos und Fakt" ein und stellte das Gesuch um Habilitation. Die für das Habilitationsverfahren zuständige betriebswirtschaftliche Abteilung der Universität St. Gallen (im Folgenden auch: BWA) bzw. deren Ausschuss beauftragte daraufhin die Professoren A._ und B._ (beide Universität St. Gallen) sowie Professor C._ (European Business School Österreich-Winkel) mit der Begutachtung der Habilitationsschrift.
Die Professoren A._ und C._ empfahlen nach der Begutachtung der Schrift, das Habilitationsverfahren fortzusetzen bzw. die Arbeit als Habilitationsschrift anzunehmen. Frau Professor B._ dagegen sprach der Arbeit von R._ die Habilitationswürdigkeit ab. In der Folge wurde Professor D._ (Universität Tübingen) als zusätzlicher Gutachter eingesetzt. Auch er kam zum Schluss, die von R._ eingereichte Untersuchung könne nicht zur Annahme als Habilitationsschrift empfohlen werden. Gestüzt auf die Ergebnisse der eingeholten Gutachten beschloss der Abteilungsausschuss der BWA am 4. November 1996, das Habilitationsverfahren im Falle von R._ abzubrechen. Auf ein Wiedererwägungsgesuch trat der Abteilungsausschuss am 3. November 1997 aus formellen Gründen nicht ein.
C.- Einen gegen diesen Nichteintretensentscheid gerichteten Rekurs hiess der Senatsausschuss der Universität St. Gallen am 26. Mai 1998 im Sinne der Erwägungen gut. Er erwog, der Abteilungsausschuss hätte auf die Ausführungen des Habilitanden materiell eingehen müssen und wies die Angelegenheit zur "(rechtlich gesehen: erstmaligen) Behandlung des Habilitationsgesuchs und zur förmlichen (erstmaligen) Eröffnung einer Verfügung" zurück. Der Abteilungsausschuss sei verpflichtet, die Gutachten "im Lichte der Argumente des Habilitanden (...) wie ein erstes Mal zu würdigen", wobei ihm freigestellt sei, weitere Kriterien und Erkenntnisse von sich aus beizuziehen. Auch ein weiteres Gutachten bzw. ein Obergutachten eines speziell angesehenen Betriebswirtschaftlers mit breitem Methodenspektrum sei denkbar; sodann könne auch die Mitwürdigung anderer Publikationen des Habilitanden im Rahmen pflichtgemässen Ermessens liegen.
D.- Am 23. November 1998 entschied die betriebswirtschaftliche Abteilung der Universität St. Gallen, das Habilitationsverfahren abzubrechen, nachdem sie bei den vier beauftragten Gutachtern ergänzende Stellungnahmen eingeholt hatte. Auf die Einholung eines weiteren Gutachtens wurde verzichtet. Die Abteilung kam zum Schluss, die gutachterliche Bewertung entspreche "nicht einer Pattsituation von 2 positiven und 2 negativen Gutachten, sondern von 1,5 positiven und 2,5 negativen", zumal die Abteilung die Argumente der Gutachter selbständig gewichte und ein eigenes Urteil fälle, welches sich nicht nur rechnerisch begründen lasse, sondern ein Gesamtbild berücksichtige.
R._ focht diesen Entscheid erfolglos bei der Rekurskommission der Universität St. Gallen an, und am 7. März 2001 wies der Universitätsrat einen gegen den Entscheid der Rekurskommission gerichteten Rekurs ab. Im Verfahren vor dem Universitätsrat hatte R._ verlangt, es sei ein Obergutachten über die Habilitationsschrift einzuholen; eventuell sei ihm "eine zweite Chance" einzuräumen, indem er die Möglichkeit erhalte, die eingereichte Schrift nachzubessern.
E.- R._ führt mit Eingabe vom 30. April 2001 staatsrechtliche Beschwerde beim Bundesgericht mit dem Antrag, den Entscheid des Universitätsrates der Universität St. Gallen vom 7. März 2001 aufzuheben.
Das Rektorat der Universität St. Gallen hat sich nicht vernehmen lassen. Die Rekurskommission teilte mit, dass sie auf eine Vernehmlassung verzichte. Das Erziehungsdepartement des Kantons St. Gallen stellt im Namen des Universitätsrates den Antrag, die Beschwerde abzuweisen.

Das Bundesgericht zieht in Erwägung:
1.- a) Gemäss Art. 44 Abs. 1 lit. b des kantonalen Gesetzes vom 26. Mai 1988 über die Universität St. Gallen (UG) können u.a. Entscheide der Rekurskommission beim Universitätsrat angefochten werden. Dieser entscheidet "endgültig" (Art. 44 Abs. 2 UG); das st. gallische Recht lässt die kantonale Verwaltungsgerichtsbeschwerde gegen Rekursentscheide des Universitätsrates nicht zu (unveröffentlichtes Urteil vom 8. Oktober 1996 i.S. G., E. 2). Beim angefochtenen Entscheid handelt es sich somit um einen kantonal letztinstanzlichen Endentscheid, gegen den, da kein anderes eidgenössisches Rechtsmittel zur Verfügung steht, die staatsrechtliche Beschwerde zulässig ist (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG).
b) aa) Nach Art. 88 OG steht das Recht zur Beschwerdeführung Bürgern (Privaten) und Korporationen bezüglich Rechtsverletzungen zu, die sie durch allgemein verbindliche oder sie persönlich treffende Erlasse oder Verfügungen erlitten haben. Es kann dabei die Beeinträchtigung in rechtlich geschützten eigenen Interessen geltend gemacht werden; die Verfolgung tatsächlicher oder bloss allgemeiner öffentlicher Anliegen ist dagegen ausgeschlossen (<ref-ruling> E. 2, mit Hinweisen). Das allgemeine Willkürverbot nach <ref-law> bzw. Art. 4 aBV verschafft dem Betroffenen für sich allein keine geschützte Rechtsstellung; eine solche besteht nur, wenn das Gesetzesrecht, dessen willkürliche Anwendung gerügt ist, seinerseits dem Beschwerdeführer einen Rechtsanspruch einräumt oder gerade den Schutz seiner beeinträchtigten Interessen bezweckt (<ref-ruling> E. 4 S. 388; <ref-ruling> E. 4-6 S. 87 ff.).
bb) Art. 13 Abs. 1 der hier noch anwendbaren Habilitationsordnung vom 29. Juni 1979 hat folgenden Wortlaut:
"Der Abteilungsausschuss würdigt wissenschaftliche
Leistung sowie Lehrbefähigung und stellt dem Senat
Antrag. Er beantragt Zulassung als Privatdozent,
wenn Habilitationsschrift, Probevortrag und Kolloquium
den Bewerber als befähigt ausweisen.. "
Nach dem Wortlaut dieser Vorschrift hat der Beschwerdeführer zumindest einen Anspruch darauf, dass der Abteilungsausschuss dem hierfür zuständigen Senat die Zulassung als Privatdozent beantragt, sofern die geforderten Voraussetzungen erfüllt sind. Der Entscheid der Abteilung, das Habilitationsverfahren abzubrechen, berührt den Beschwerdeführer insoweit in seinen rechtlich geschützten eigenen Interessen. Ob auch gegenüber dem für die verbindliche Beschlussfassung zuständigen Senat ein entsprechender Anspruch auf Habilitation besteht (vgl. Art. 13 Abs. 2 der Habilitationsordnung von 1979) und wieweit gegen einen abschlägigen Bescheid des Senates staatsrechtliche Beschwerde geführt werden könnte, braucht vorliegend nicht abgeklärt zu werden. Der Beschwerdeführer ist nach dem Gesagten jedenfalls legitimiert, den Beschluss der Abteilung über den Abbruch des Habilitationsverfahrens anzufechten.
c) Die staatsrechtliche Beschwerde muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Entscheid verletzt worden sind (Art. 90 Abs. 1 lit. b OG). Das Bundesgericht untersucht nicht von Amtes wegen, ob ein kantonaler Hoheitsakt verfassungsmässig ist, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 3 f.; <ref-ruling> E. 1d S. 201, mit Hinweisen). Wird eine Verletzung des Willkürverbots (<ref-law>) geltend gemacht, genügt es nicht, wenn der Beschwerdeführer bloss den angefochtenen Entscheid kritisiert, wie er dies in einem appellatorischen Verfahren tun könnte, bei dem die Rechtsmittelinstanz die Rechtsanwendung frei überprüfen kann. Er muss deutlich dartun, welche Vorschriften oder allgemein anerkannten Rechtsgrundsätze die kantonalen Behörden in einer gegen <ref-law> verstossenden Weise verletzt haben sollen (<ref-ruling> E. 4b S. 12, mit Hinweis). Die vorliegende Beschwerdeschrift erschöpft sich weitgehend (wenn nicht sogar vollumfänglich) in appellatorischen Ausführungen, die als solche nicht geeignet sind, die Rüge der Willkür zu begründen (vgl. E. 3). Insoweit ist auf die staatsrechtliche Beschwerde nicht einzutreten. Dies gilt namentlich auch in Bezug auf die Kritik des Beschwerdeführers an der "Rolle von Frau Professor B._" (vgl.
S. 15/16 der Beschwerdeschrift).
d) Mit staatsrechtlicher Beschwerde können grundsätzlich keine Tatsachen und Beweismittel sowie keine rechtlichen Argumente vorgebracht werden, welche nicht bereits im kantonalen Verfahren geltend gemacht wurden (<ref-ruling> E. 1 S. 408; Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Auflage, Bern 1994, S. 369 ff.). Vorliegend bleibt es bei dem für Willkürbeschwerden geltenden strengen Novenverbot; erlaubt sind nur solche neuen Vorbringen, zu deren Geltendmachung erst die Begründung des angefochtenen Entscheides Anlass gibt, sowie Gesichtspunkte, die sich derart aufdrängen, dass sie von der kantonalen Instanz von Amtes wegen hätten berücksichtigt werden müssen (vgl.
Kälin, a.a.O., S. 370 f.). Solche Ausnahmen liegen hier nicht vor; soweit neue rechtliche Argumente vorgetragen werden, ist auf die Beschwerde ebenfalls nicht einzutreten.
2.- Beim Entscheid über die Habilitationswürdigkeit geht es um die Beurteilung einer wissenschaftlichen Leistung.
Er kann insoweit einem Prüfungsentscheid bzw. einem Entscheid über die Bewertung einer Examensleistung gleichgestellt werden (unveröffentlichtes Urteil vom 5. Februar 1996 i.S. B. [betreffend "venia legendi"], E. 3c). Das Bundesgericht prüft in solchen Fällen die Handhabung der einschlägigen kantonalen Verfahrensvorschriften - auf entsprechende, ordnungsgemäss begründete Rügen hin (vgl.
E. 1c) - nur unter dem Gesichtswinkel der Willkür. In erster Linie prüft es, ob das gesetzlich vorgeschriebene Verfahren unter Beachtung der verfassungsrechtlichen Minimalgarantien durchgeführt worden ist (unveröffentlichte Urteile vom 1. Dezember 1999 i.S. T., E. 2, sowie vom 3. März 1998 i.S. S., E. 2, und vom 27. März 1997 i.S. M., E. 2), und es auferlegt sich auch bei der materiellen Beurteilung eine besondere Zurückhaltung, indem es erst einschreitet, wenn sich die Behörde von sachfremden oder sonstwie ganz offensichtlich unhaltbaren Erwägungen hat leiten lassen, so dass ihr Entscheid unter rechtsstaatlichen Gesichtspunkten als nicht mehr vertretbar und damit als willkürlich erscheint (<ref-ruling> E. 4b S. 230; <ref-ruling> E. 4c S. 495; <ref-ruling> E. 3c S. 4). Eine entsprechende Zurückhaltung dürfen sich, soweit - wie hier - das Gesetz nichts anderes bestimmt, auch die kantonalen Rechtsmittelinstanzen auferlegen (unveröffentlichtes Urteil vom 1. Dezember 1999 i.S. T., E. 6).
3.- Der Beschwerdeführer beanstandet die Art und Weise, wie seine Habilitationsschrift von den zuständigen Organen und Rechtsmittelinstanzen der Universität St. Gallen behandelt und beurteilt worden ist, und rügt eine Verletzung sowohl des Willkürverbotes (<ref-law>) wie auch der aus Art. 29 Abs. 1 und 2 folgenden Verfahrensgarantien.
a) Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt sodann nur vor, wenn nicht bloss die Begründung eines Entscheides, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 2b S. 56; <ref-ruling> E. 2a S. 168, je mit Hinweisen).
b) Der Beschwerdeführer beanstandet die Auswahl des vierten Gutachters, der von dem für die Beurteilung der Habilitationsschrift zuständigen Organ eingesetzt worden war, nachdem die ersten drei Gutachten nicht einhellig lauteten (vgl. vorne "B.-"). Der Beschwerdeführer erachtet es zwar als zulässig, dass wegen des interdisziplinären Charakters seiner Habilitationsschrift (Managementlehre einerseits und ein spezifischer Bereich der Wirtschaftsinformatik andererseits) Gutachter aus beiden Fachbereichen beigezogen wurden. Die Professoren A._ und C._ seien dem Fachgebiet Managementlehre zuzuordnen; Frau Professor B._ (im weitesten Sinn) jenem der Wirtschaftsinformatik. Da der beigezogene vierte Gutachter - Professor D._ - die gleichen üblichen Lehrbuchmeinungen vertrete wie die bisher einzig ablehnende Gutachterin (Frau Professor B._), sei zum Vornherein zu erwarten gewesen, dass Professor D._ bei der Beurteilung der Habilitationsschrift zur selben - ablehnenden - Auffassung gelangen werde, zumal der Beschwerdeführer in seiner Schrift gerade eine Gegenposition vertrete. Die betriebswirtschaftliche Abteilung habe daher ihr Ermessen bei der Auswahl des vierten Gutachters in willkürlicher Weise missbraucht.
Dieser Einwand schlägt nicht durch. Der blosse Umstand, dass ein Experte allenfalls Anhänger einer anderen Lehrmeinung ist als der zu beurteilende Habilitand, stellt für sich allein seine Eignung als Gutachter nicht in Frage.
Es darf von einem Experten erwartet werden, dass er den wissenschaftlichen Wert einer Arbeit auch als allfälliger Vertreter "einer anderen Schule" (vgl. S. 9 der Beschwerdeschrift) objektiv zu beurteilen vermag. Jedenfalls erscheint das Vorgehen der Abteilung (BWA), soweit es auf dieser Annahme beruht, nicht als willkürlich.
c) Die Ausführungen zur Würdigung der Gutachten sowie zu den daraus gezogenen rechtlichen Schlussfolgerungen sind nicht geeignet, den Vorwurf der Willkür zu begründen:
Wenn die zuständige Abteilung "bei einer Gutachter-Konstellation von 2:2" (vgl. S. 10 der Beschwerdeschrift) entschied, das Habilitationsverfahren abzubrechen, konnte sie sich dafür zwar nicht auf eine entsprechende ausdrückliche Vorschrift stützen, aber sie verstiess damit auch nicht willkürlich gegen bestehende Normen. Der Vorwurf, es sei unhaltbar, bei einer solchen "Patt-Situation" bzw. im Zweifelsfall gegen den Gesuchsteller zu entscheiden, stösst insofern ins Leere, als die Abteilung die gutachterlichen Äusserungen mit 1,5 zu 2,5 gegen den Beschwerdeführer gewichtete.
Soweit der Beschwerdeführer diese Gewichtung beanstandet und behauptet, sie stehe im Widerspruch zum effektiven Gehalt der Gutachten, handelt es sich um appellatorische Kritik, auf die im Rahmen einer Willkürbeschwerde nicht einzugehen ist (vgl. E. 1c); dasselbe gilt, soweit der Beschwerdeführer die Nichteinholung eines "Obergutachtens" beanstandet.
Unbegründet erscheint ferner die Kritik an der Feststellung, wonach die eingeholten Gutachten "lediglich Entscheidungshilfen" zuhanden der ihrerseits "auf Grund ihrer Fachkenntnisse hinreichend qualifizierten" Mitglieder des zuständigen Abteilungsausschusses seien (S. 13 des angefochtenen Entscheides, S. 17 der Beschwerdeschrift).
Der Beizug von Gutachtern wird dadurch, entgegen der Auffassung des Beschwerdeführers, nicht überflüssig. Auch wenn die Mitglieder des Abteilungsausschusses für die vorzunehmende Beurteilung in erster Linie auf die vorhandenen Gutachten abstellen, sind sie auf Grund ihrer fachlichen Ausbildung grundsätzlich in der Lage, die gutachterlichen Äusserungen und den Wert der Habilitationsschrift selbständig zu würdigen.
d) Nicht näher einzugehen ist auf den Einwand, der Universitätsrat habe die in den vorangegangenen Verfahren begangenen formellen Mängel zu Unrecht als geheilt betrachtet.
Der Beschwerdeführer erachtet dies als im "eklatanten Widerspruch zu den Tatsachen" stehend, ohne dafür aber eine taugliche, den Anforderungen von Art. 90 Abs. 1 lit. b OG genügende Begründung zu liefern.
e) Dass das Verfahren übermässig lange dauerte (vgl. <ref-law>), trifft zu und wird im angefochtenen Entscheid auch ausdrücklich eingeräumt (vgl. S. 13).
Die lange Dauer ist einerseits auf begangene Verfahrensfehler zurückzuführen, welche zur Gutheissung von Rechtsmitteln und entsprechenden Rückweisungsentscheiden führten, zum Teil aber auch darauf, dass der Beschwerdeführer auch den in der Folge in korrekter Form ergangenen abschlägigen Habilitationsentscheid nicht akzeptieren wollte und alle zur Verfügung stehenden Rechtsmittel ausschöpfte. Jedenfalls lässt sich aus der langen Verfahrensdauer kein Anspruch auf Annahme der Habilitationsschrift oder auf Einräumung einer Gelegenheit zur Nachbesserung derselben (im Sinne einer "zweiten Chance") ableiten; der angefochtene Entscheid hält auch unter diesem Gesichtswinkel vor dem Willkürverbot stand. Dass und inwiefern in anderen vergleichbaren Fällen die Überarbeitung einer als ungenügend bewerteten Habilitationsschrift gestattet worden wäre und die Abteilung damit vorliegend gegen das Gleichbehandlungsgebot verstossen hätte (S. 23 der Beschwerdeschrift), wird nicht rechtsgenüglich dargelegt (vgl. E. 1c).
f) Der Universitätsrat hat sich im angefochtenen Entscheid mit den aufgeworfenen Fragen gemäss der ihm zustehenden Kognition (vgl. Art. 45 UG) in sorgfältiger Weise auseinander gesetzt (zur Begründungspflicht vgl. ausführlich <ref-ruling> E. 2b S. 102 f., mit Hinweisen); die dagegen erhobenen Verfassungsrügen erweisen sich, soweit darauf überhaupt einzutreten ist, als unbegründet.
4.- Nach dem Gesagten ist die staatsrechtliche Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und 153a OG).
Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG analog).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Rektorat, der Rekurskommission und dem Universitätsrat der Universität St. Gallen schriftlich mitgeteilt.
_
Lausanne, 22. August 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: