(Nichtwiederwahl als Hauptlehrer), hat sich ergeben:
A.- Der heute 56-jährige X._ unterrichtet seit 1975 als Hauptlehrer für Englisch und Geschichte an der Kantonsschule Frauenfeld. Nachdem Schüler und Eltern seit Jahren Beanstandungen gegen seinen Unterricht vorgebracht hatten, gelangte im Jahre 1998 der 1996 neu gewählte Rektor der Kantonsschule an die Aufsichtskommission, weil sich trotz seiner Bemühungen die Art und Weise der Schulführung durch X._ nicht verbessere. Dieser wurde daraufhin über das Verfahren orientiert, und es wurde ihm Gelegenheit gegeben, Stellung zu nehmen und Vorschläge für eine Verbesserung der Situation vorzubringen. Am 30. Juni 1999 eröffnete ihm die Aufsichtskommission, sie werde dem Regierungsrat seine Nichtwiederwahl für die am 1. Juni 2000 beginnende Amtsdauer beantragen. Am 26. Oktober 1999 entschied der Regierungsrat des Kantons Thurgau im Sinne dieses Antrags und ermächtigte X._, seine Lehrtätigkeit bis zum Ende des Schuljahres weiterzuführen.
B.- X._ führt gegen den Nichtwiederwahlentscheid des Regierungsrats staatsrechtliche Beschwerde und beantragt dessen Aufhebung. Er rügt eine Verletzung von Art. 4 aBV, weil kantonales Recht willkürlich ausgelegt worden sei und sein Anspruch auf rechtliches Gehör durch eine ungenügende Begründung des Entscheids und die unterlassene Anordnung einer Expertise verletzt worden sei.
Der Regierungsrat beantragt die Abweisung der Beschwerde. Das Rektorat der Kantonsschule verweist auf diese Stellungnahme und verzichtet auf eine eigene.
C.- Mit Verfügung vom 14. Januar 2000 hat der Präsident der I. öffentlichrechtlichen Abteilung des Bundesgerichts das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft die Zulässigkeit einer staatsrechtlichen Beschwerde von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1a S. 254; 412 E. 1a S. 414; II 497 E. 1a S. 499).
a) Der angefochtene Entscheid stützt sich auf kantonales Recht und ist endgültig. Nach § 54 des thurgauischen Gesetzes vom 23. Februar 1981 über die Verwaltungsrechtspflege (VRPG/TG; RB 170. 1) können Entscheide des Regierungsrats gegenüber Beamten nur im Falle von Disziplinarmassnahmen beim Verwaltungsgericht angefochten werden. Die angefochtene Nichtwiederwahl für eine weitere Amtsdauer stellt keine Disziplinarmassnahme dar. Da im Bund kein anderes Rechtsmittel zur Verfügung steht, ist die staatsrechtliche Beschwerde zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG).
b) Gemäss ständiger Rechtsprechung zu Art. 88 OG kann ein Beamter seine Nichtwiederwahl mit staatsrechtlicher Beschwerde wegen einer Verletzung von Art. 4 aBV nur anfechten, wenn er nach dem kantonalen Recht einen Anspruch auf Wiederwahl hat (<ref-ruling> E. 1a S. 112 mit Hinweisen). Die Legitimation zur Willkürbeschwerde besteht bloss, soweit das kantonale Gesetzesrecht, dessen willkürliche Anwendung gerügt ist, dem Betroffenen einen Rechtsanspruch einräumt oder den Schutz seiner Interessen bezweckt (<ref-ruling> E. 3c/aa S. 280 mit Hinweisen). Da der Beschwerdeführer, wie im Folgenden darzulegen ist, nach kantonalem Recht einen Rechtsanspruch hat, kann offen bleiben, ob auf die Frage der Legitimation bereits die Bundesverfassung vom 18. April 1999 (BV) anwendbar ist, die am 1. Januar 2000 in Kraft getreten ist (vgl. AS 1999 2555). Ebensowenig braucht entschieden zu werden, ob es unter dieser angesichts von <ref-law> für die Legitimation eines Verfügungsadressaten zur staatsrechtlichen Beschwerde genügt, dass dieser geltend macht, die Verfügung verletze das Willkürverbot (vgl. in diesem Sinne ein unwidersprochen gebliebenes Votum vom 20. Januar 1998 von Berichterstatter Inderkum in der parlamentarischen Beratung des Ständerats zu <ref-law> [AB 1998 S, S. 39]).
Im Kanton Thurgau gilt ein Lehrer nach § 54 Abs. 4 des Unterrichtsgesetzes vom 15. November 1978 (UG/TG; RB 410. 1) für eine weitere Amtsdauer als gewählt, wenn die Wahlbehörde nicht aus wichtigen Gründen spätestens sechs Monate vor Ablauf der Amtsdauer die Nichtwiederwahl beschliesst. Daraus wurde ein Rechtsanspruch des Lehrers abgeleitet, wiedergewählt zu werden, wenn keine wichtigen Gründe dagegen sprechen (vgl. Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 28. März 1985, in Thurgauische Verwaltungsrechtspflege [TVR] 1985 Nr. 28, S. 137). Immerhin ist seit Erlass der betreffenden Gesetzesbestimmung und dem erwähnten kantonalen Entscheid § 32 der Verfassung des Kantons Thurgau vom 16. März 1987 (KV/TG; SR 131. 228) in Kraft getreten, der besagt, dass Beamte auf Amtsdauer gewählt werden. Daraus hat die kantonale Rechtsprechung abgeleitet, dass (auch für Lehrer) kein rechtlicher Anspruch auf Wiederwahl mehr bestehe (vgl. Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 17. August 1994, in TVR 1994 Nr. 16, S. 85). Da § 54 Abs. 4 UG/TG jedoch nicht geändert wurde und er § 32 KV/TG nicht widerspricht, kann diese kantonale Rechtsprechung nicht zur Folge haben, dass der nicht wiedergewählte Thurgauer Lehrer nach der bisherigen Rechtsprechung des Bundesgerichts nicht mehr zur staatsrechtlichen Beschwerde legitimiert wäre. Für diese Legitimation kommt es darauf an, ob das kantonale Recht materielle Bestimmungen darüber enthält, wann eine Nichtwiederwahl zulässig ist, oder ob es diesen Entscheid dem freien Ermessen der Behörden überlässt (vgl. unveröffentlichte Entscheide des Bundesgerichts vom 13. Juli 1995 i.S. S., E. 1b; vom 20. Juli 1994 i.S. C., E. 1b; vom 9. Oktober 1987 i.S. K., E. 2b). Im Kanton Thurgau trifft für Lehrer Ersteres zu, da § 54 UG/TG die Wiederwahl als Regel aufstellt und eine Nichtwiederwahl nur aus bestimmten, nämlich wichtigen Gründen zulässt. Der Beschwerdeführer ist somit durch den angefochtenen Entscheid in seinen rechtlich geschützten Interessen betroffen und legitimiert, dagegen staatsrechtliche Beschwerde zu führen (Art. 88 OG).
c) Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.- Der Beschwerdeführer rügt zunächst, der angefochtene Entscheid verletze seinen Anspruch auf rechtliches Gehör, der aus Art. 4 aBV floss und heute in <ref-law> verankert ist.
a) Aus diesem Anspruch ergibt sich die grundsätzliche Pflicht der Behörden, Entscheide zu begründen. Dies soll dazu beitragen, dass sich die Behörde nicht von sachfremden Motiven leiten lässt, und dient sowohl der Transparenz der Entscheidfindung als auch der Selbstkontrolle der Behörden. Daher muss eine Behörde wenigstens kurz die Überlegungen darstellen, von denen sie sich leiten liess und auf welche sie ihren Entscheid stützt. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann (<ref-ruling> E. 2c S. 372 mit Hinweisen). Sie darf sich aber auf die für den Entscheid wesentlichen Gesichtspunkte beschränken. Die verfassungsmässige Begründungsdichte ist im Übrigen abhängig von der Entscheidungsfreiheit der Behörde und der Eingriffsintensität des Entscheides. Je grösser der Spielraum, welcher der Behörde infolge Ermessen und - wie im vorliegenden Fall - unbestimmter Rechtsbegriffe eingeräumt ist, und je stärker ein Entscheid in die individuellen Rechte eingreift, desto höhere Anforderungen sind an die Begründung eines Entscheides zu stellen (vgl. <ref-ruling> E. 1a und ausführlich <ref-ruling> E. 2b S. 109 f., je mit Hinweisen).
b) Der Beschwerdeführer rügt, in der Begründung für seine Nichtwiederwahl würden Probleme mit seinem Unterricht sowie schwerwiegende pädagogische und didaktisch-methodische Mängel erwähnt und ihm vorgeworfen, dass er seine Methode nicht ändere, ohne dass ausgeführt werde, worin diese Probleme, Mängel oder Methode bestünden. Es werde zwar auf die Akten verwiesen, aber nie auf präzise Dokumente.
Diese Kritik ist berechtigt. Bei Lektüre des angefochtenen Entscheids bleibt unklar, welche Mängel die Art und Weise des Unterrichts des Beschwerdeführers aufweist. Es wird ausgeführt, er habe den Amtsauftrag in wesentlichen Teilen nicht erfüllt und es bestehe wenig Aussicht, dass er künftig in der Lage sein werde, dies zu tun. Eine Lehrkraft erfülle die an sie gestellten Anforderungen erst dann, wenn sie den Stoff in einer Art und Weise zu vermitteln vermöge, welche die Schüler ausreichend fördere, was beim Beschwerdeführer nicht der Fall sei. Die Aktenlage zeichne von ihm das Bild eines Englischlehrers, dessen Unterricht schwerwiegende pädagogische und didaktisch-methodische Mängel aufweise. Seine Unterrichtsmethode habe zu schwerwiegenden Problemen geführt. Im Anschluss an keine dieser Bewertungen findet sich eine Begründung oder ein Verweis auf einen Beleg in den Akten. Der einzige konkret erwähnte Vorwurf lautet, am 30. Juni 1997 nicht an einem von einem Klassenlehrer organisierten Elternabend teilgenommen zu haben. Dieser Vorwurf vermag, jedenfalls für sich allein, nicht einen wichtigen Grund für eine Nichtwiederwahl zu bilden.
Der pauschale Verweis auf die Akten kann das Fehlen von Beispielen für die Mängel im Unterricht nicht beheben, da der Regierungsrat als entscheidende Behörde die Beweismittel zumindest in der Weise würdigen muss, dass er aufzeigt, auf welche er sich stützt. In den Akten fehlt auch eine Begründung des Antrags der Aufsichtskommission. Die Akten bestehen somit aus Belegen für verschiedene Vorwürfe verschiedener Stellen an den Beschwerdeführer und dessen Reaktionen auf diese Vorwürfe, die sich über einen Zeitraum von über einem Jahr erstrecken. Die Akten belegen zwar, dass der Beschwerdeführer wusste, was ihm Schulleitung, Schüler und Eltern vorwarfen. Er hätte die Möglichkeit gehabt, sein Verhalten zu verändern oder konkret darzulegen, weshalb er dieses trotz der Kritik für sachlich richtig halte. Im Verfahren vor dem Regierungsrat konnte er auch zu allen Akten Stellung nehmen. Es ist aber weder aus dem angefochtenen Entscheid noch aus den Akten ersichtlich, welche Vorwürfe die entscheidende Behörde als wesentlich erachtet und ob und inwiefern der Beschwerdeführer verschiedene Verbesserungen, zu denen er sich bereit erklärt hatte, im Unterricht auch wirklich durchgeführt hat. Der angefochtene Entscheid geht auch, was die Art des Unterrichts betrifft, nicht auf die Stellungnahmen des Beschwerdeführers im kantonalen Verfahren ein.
Dem Beschwerdeführer wird im angefochtenen Entscheid auch vorgeworfen, wie er auf Vorwürfe von Schülern, Eltern und der Schulleitung reagiert habe. Er habe trotz massiver Kritik das Vorhandensein von Problemen stets negiert, Kritik mit Vorwürfen an die Schüler abgetan, und er sei auch dann nicht bereit gewesen, Änderungen in die Wege zu leiten, als dies von seinen Vorgesetzten verlangt worden sei. Da es sich dabei jedoch um Reaktionen des Beschwerdeführers auf Vorhaltungen handelt, kann nicht beurteilt werden, ob diese einen wichtigen Grund für eine Nichtwiederwahl darstellen, solange die Vorhaltungen selbst, wie vorstehend festgestellt, nicht genügend konkret dargelegt werden.
c) Zusammenfassend ergibt sich, dass der Regierungsrat weder in der Begründung des angefochtenen Entscheids noch durch Verweise auf Akten des kantonalen Verfahrens begründet, worauf er die wichtigen Gründe für die Nichtwiederwahl des Beschwerdeführers stützt. Damit verletzt der Regierungsrat seine Begründungspflicht.
3.- Die mangelhafte Begründung des angefochtenen Entscheids verletzt den Anspruch des Beschwerdeführers auf rechtliches Gehör. Da dieser Anspruch formeller Natur ist, ist die Beschwerde gutzuheissen und der angefochtene Entscheid aufzuheben (vgl. <ref-ruling> E. 3 S. 118), ohne dass die weiteren Rügen des Beschwerdeführers abschliessend behandelt zu werden brauchen. Aus verfahrensökonomischen Gründen erscheinen immerhin einige Bemerkungen zu diesen Rügen angezeigt, die bei einem neuen Entscheid zu beachten sein werden.
a) Der Beschwerdeführer kritisiert, dass entgegen seinem Antrag kein Gutachten von einem Fachexperten zu den ihm vorgeworfenen schwerwiegenden pädagogischen und didaktisch-methodischen Mängeln eingeholt worden sei. Ein solcher Experte könnte sich jedoch nicht zum Verhalten des Beschwerdeführers gegenüber Schülern, Eltern und der Schulleitung äussern, noch zur Art, wie der Unterricht während Jahren konkret erteilt worden ist. Er könnte höchstens Ausführungen zur vom Beschwerdeführer nach seinen eigenen Angaben gewählten Methode machen. Wenn daher nicht diese Methode an sich, sondern die Art ihrer Umsetzung im Unterricht und die Reaktion auf Kritik und Änderungswünsche entscheiderheblich sind, braucht zur Methode auch kein Gutachten eingefordert zu werden. Was das Verhalten gegenüber den Schülern und deren Kritik betrifft, sind auch bei einem Lehrer seine Vorgesetzten und nicht aussenstehende Experten am besten im Stande, es zu würdigen (vgl. <ref-ruling> E. 3. S. 237).
b) Der Beschwerdeführer kritisiert die regierungsrätliche Auslegung des Begriffs des wichtigen Grundes, der nach § 54 Abs. 4 UG/TG eine Nichtwiederwahl eines Lehrers rechtfertigen könne. Jedenfalls lässt sich dieser Begriff entgegen der Auffassung des Regierungsrats nicht zwangslos so auslegen, dass er eine Nichtwiederwahl unter den gleichen Voraussetzungen erlaube, wie im Bund und in anderen Kantonen. Im Kanton Thurgau besteht ein Anspruch auf eine Wiederwahl, wenn keine wichtigen Gründe vorliegen. Im Bund hingegen entscheidet die Wahlbehörde nach freiem Ermessen über die Erneuerung des Dienstverhältnisses und einzig die Rechtsprechung hat diesem Ermessen Schranken gesetzt (vgl. Art. 57 Abs. 1 des Beamtengesetzes vom 30. Juni 1927; SR 172. 221.10). Ebenso unzulässig ist es, auf Thurgauer Lehrer dieselben Regeln anzuwenden wie auf die Beamten der meisten Kantone, in denen das kantonale Recht keine materiellen Bestimmungen darüber enthält, wann eine Nichtwiederwahl zulässig ist. Im Kanton Thurgau selbst werden Beamte am Ende einer Amtsdauer wiedergewählt, wenn keine triftigen Gründe vorliegen (vgl. § 8 Abs. 1 der Verordnung des Regierungsrates über die Rechtsstellung des Staatspersonals vom 22. November 1988; RB 177. 112). Bei Lehrern braucht es hingegen "wichtige Gründe" für eine Nichtwiederwahl. Das thurgauische Verwaltungsgericht hat dies als "Besserstellung der Lehrer gegenüber den übrigen Beamten" qualifiziert, "welche bereits aus sachlichen Gründen nicht wiedergewählt werden können" (Entscheid des Verwaltungsgerichts vom 28. März 1985, a.a.O., S. 139). Wenn § 54 Abs. 4 UG/TG entgegen seinem Wortlaut und der thurgauischen Gerichtspraxis gleich ausgelegt würde, wie anderslautende Bestimmungen im Bund und in anderen Kantonen, wäre dies willkürlich.
4.- Zusammenfassend ist die Beschwerde gutzuheissen und der angefochtene Entscheid aufzuheben, weil er den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt. Bei diesem Ausgang des Verfahrens werden keine Gerichtskosten erhoben (Art. 156 Abs. 2 OG) Der Kanton Thurgau hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen und der Entscheid Nr. 871 des Regierungsrats des Kantons Thurgau vom 26. Oktober 1999 aufgehoben.
2.- Es werden keine Gerichtskosten erhoben.
3.- Der Kanton Thurgau hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500. -- zu entschädigen.
4.- Dieses Urteil wird dem Beschwerdeführer, dem Rektorat der Kantonsschule Frauenfeld und dem Regierungsrat des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 2. Februar 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: