<ref-law> (Wahlfähigkeit als Primarlehrer), hat sich ergeben:
A.- G._, geboren 1955, absolvierte von 1992 bis 1994 den ausserordentlichen Ausbildungsgang für Berufsleute am Lehrerseminar in X._. Am 8. Juli 1994 erteilte ihm der Erziehungsrat des Kantons St. Gallen aufgrund der bestandenen Prüfung das Diplom als Primarlehrer. Mit Beschluss vom 21. September 1994 lehnte der Erziehungsrat hingegen die Erteilung des st. gallischen Wahlfähigkeitszeugnisses als Primarlehrer ab.
Am 2. September 1997 beantragte G._ dem Erziehungsrat, es sei ihm das Wahlfähigkeitszeugnis auszustellen, worauf ihm der Erziehungsrat am 14. Januar 1998 eine auf zwei Jahre befristete Wahlfähigkeit erteilte, die mit der Auflage verbunden war, am Programm einer Lehrerberatung für Junglehrkräfte teilzunehmen.
B.- G._ ersuchte am 24. Januar 2000 den Erziehungsrat, seine Wahlfähigkeit als Primarlehrer vorbehaltlos und unbefristet festzustellen.
Mit Schreiben vom 31. Januar 2000 teilte das Erziehungsdepartement des Kantons St. Gallen, Amt für Volksschule, G._ mit, dass sein Gesuch nach Erhalt eines Visitationsberichtes der zuständigen Bezirksschulrätin dem Erziehungsrat zur Entscheidung vorgelegt werde.
Das Amt für Volksschule ersuchte mit Schreiben vom 3. Februar 2000 die Schulleiterin des Schulhauses, wo G._ seit 1998 wiederholt als Stellvertreter unterrichtet hatte, um eine Stellungnahme (Beobachtungen, Eindrücke, Beurteilungen etc.). Die Schulleiterin teilte am 9. Februar 2000 auf telefonische Anfrage mit, dass es nicht ihre Aufgabe sei, G._s Schulführung zu beurteilen (Aktennotiz vom 1. Februar/9. Februar 2000 des Amtes für Volksschule).
Gemäss Aktennotiz vom 1. Februar/9. Februar 2000 wurden sodann bei der Bezirksschulrätin als auch beim zuständigen Lehrerberater telefonische Auskünfte über die Schulführung G._s eingeholt.
Am 27. Februar 2000 reichte die zuständige Bezirksschulrätin einen ergänzenden Visitationsbericht ein, welcher G._ durch das Amt für Volksschule zur Stellungnahme unterbreitet wurde. Die Aktennotiz vom 1. Februar/9.
Februar 2000 wurde ihm hingegen nicht zur Kenntnis gebracht.
Mit Schreiben vom 1. April 2000 liess sich G._ zum Visitationsbericht der Bezirksschulrätin vernehmen.
Am 12. April 2000 wies der Erziehungsrat das Gesuch von G._ um Erteilung einer definitiven Wahlfähigkeit als Primarlehrer ab. Er erwog im Wesentlichen, G._ habe wohl viel gearbeitet und sich umfangreich vorbereitet.
Dennoch habe seine Unterrichtsführung trotz angekündigter Visitationen zu wünschen übrig gelassen. Die Bezirksschulrätin habe den Eindruck gewonnen, dass sich die Klasse gelangweilt sowie orientierungs- und führungslos verhalten habe. Die Hilfsangebote des Lehrerberaters seien von G._ zunehmend abgelehnt worden, womit er gegen die Auflagen des Erziehungsrates verstossen habe.
C.- Eine gegen diesen Entscheid gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Entscheid vom 24. Januar 2001 ab. Zur Begründung führte es im Wesentlichen aus, der Erziehungsrat habe das rechtliche Gehör G._s verletzt, indem es ihm die Aktennotiz vom 1. Februar/9. Februar 2000 vorenthalten habe. Der fraglichen Aktennotiz hätten indessen keine Erkenntnisse entnommen werden können, die für den Ausgang des Verfahrens von selbständiger Bedeutung gewesen seien. Der Erziehungsrat habe den Sachverhalt rechtsgenüglich abgeklärt und sei zu Recht davon ausgegangen, dass G._ als Primarlehrer nicht wählbar sei.
D.- Mit Eingabe vom 1. März 2001 führt G._ staatsrechtliche Beschwerde beim Bundesgericht wegen Verletzung des rechtlichen Gehörs mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 24. Januar 2001 aufzuheben.
Das Erziehungsdepartement beantragt, die Beschwerde abzuweisen. Das Verwaltungsgericht schliesst ebenfalls auf Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Der Entscheid des Verwaltungsgerichtes ist ein kantonal letztinstanzlicher Entscheid, gegen den auch im Bund kein anderes Rechtsmittel zur Verfügung steht. Die staatsrechtliche Beschwerde ist daher zulässig (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG). Der Beschwerdeführer hat einen (potentiellen) Rechtsanspruch auf die Ausstellung eines Wahlfähigkeitszeugnisses (Art. 60 f. des st. gallischen Volksschulgesetzes vom 13. Januar 1983 in der Fassung vom 22. Juni 1995 [Volksschulgesetz]). Er ist daher durch den angefochtenen Entscheid in seinen rechtlich geschützten Interessen betroffen und zur staatsrechtlichen Beschwerde legitimiert (Art. 88 OG).
2.- a) Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs. Der Anspruch auf rechtliches Gehör wird zunächst durch die kantonalen Verfahrensvorschriften umschrieben.
Unabhängig davon greifen die unmittelbar aus <ref-law> (Art. 4 aBV) folgenden Verfahrensregeln zur Sicherung des rechtlichen Gehörs Platz. Da der Beschwerdeführer keine Verletzung kantonaler Verfahrensvorschriften rügt, ist einzig und zwar mit voller Kognition zu prüfen, ob unmittelbar aus <ref-law> (Art. 4 aBV) folgende Regeln missachtet worden sind (<ref-ruling> E. 2a S. 21 f.; <ref-ruling> E. 2 S. 242 f.; <ref-ruling> E. 2c S. 138; <ref-ruling> E. 1b S. 18, je mit Hinweisen).
b) Das durch <ref-law> gewährleistete rechtliche Gehör dient der Sachaufklärung und garantiert dem Betroffenen ein persönlichkeitsbezogenes Mitwirkungsrecht im Verfahren. Er soll sich vor Erlass des Entscheides zur Sache äussern, erhebliche Beweise beibringen, Einsicht in die Akten nehmen und an der Erhebung von Beweisen mitwirken oder sich zumindest zum Beweisergebnis äussern können, wenn dieses geeignet ist, den Entscheid zu beeinflussen (BGE <ref-ruling> E. 2 S. 242 f.; <ref-ruling> E. 2c S. 138, je mit Hinweisen).
Eine Behörde, welche neue Unterlagen beizieht, auf die sie sich in ihrer Verfügung zu stützen gedenkt, ist zwecks Gewährleistung des rechtlichen Gehörs grundsätzlich verpflichtet, die Beteiligten über den Beizug zu informieren (<ref-ruling> E. 2b S. 137, mit Hinweisen; Michele Albertini, Der verfassungsmässige Anspruch auf rechtliches Gehör im Verwaltungsverfahren des modernen Staates, Bern 2000, S. 272 f., 349 ff.).
c) Der Erziehungsrat (bzw. die instruierende Stelle des Erziehungsdepartements) hat nicht nur wie angekündigt bei der Bezirksschulrätin einen Visitationsbericht eingeholt, sondern zusätzlich die Bezirksschulrätin, den zuständigen Lehrerberater sowie die Schulleiterin über die Unterrichtsführung des Beschwerdeführers telefonisch befragt und darüber eine Aktennotiz erstellt. Diese Aktennotiz vom 1. Februar/9. Februar 2000 wurde dem Beschwerdeführer unbestrittenermassen nicht zur Kenntnis gebracht. Indem der Erziehungsrat diese Auskünfte einholte und verwertete, ohne den Beschwerdeführer darüber in Kenntnis zu setzen und ihm Gelegenheit zur Stellungnahme zu geben, hat er den verfassungsmässigen Grundsatz des rechtlichen Gehörs (<ref-law>) verletzt.
3.- a) Umstritten ist, ob das Verwaltungsgericht zu Recht darauf verzichtet hat, die Streitsache an den Erziehungsrat zurückzuweisen. Das Verwaltungsgericht hat davon abgesehen, da nach seiner Auffassung der Beschwerdeführer die Möglichkeit hatte, zu allen entscheidrelevanten Punkten Stellung zu nehmen, und er davon am 1. April 2000 auch umfassend Gebrauch gemacht habe. Die fragliche Aktennotiz vom 1. Februar/9. Februar 2000 habe nämlich materiell nichts anderes enthalten als der dem Beschwerdeführer zur Stellungnahme unterbreitete Visitationsbericht. Auch hinsichtlich der Bestätigung der Erkenntnisse der Visitatorin durch den Lehrerberater komme der Aktennotiz inhaltlich keine selbständige neue Bedeutung zu, die für den Ausgang des Verfahrens wesentlich gewesen wäre.
Indessen verhält es sich so, dass dem Beschwerdeführer mit Unterbreitung des Visitationsberichtes nicht sämtliche Erkenntnisse, die in der fraglichen Aktennotiz vom 1. Februar/9. Februar 2000 enthalten sind, zur Kenntnis gebracht worden sind. Im Visitationsbericht vom 27. Februar 2000 stand nämlich nichts über die Tatsache, dass die Schulleiterin nicht bereit war, den von der Bezirksschulrätin gewonnenen Eindruck betreffend die Schulführung des Beschwerdeführers zu bestätigen. Ebenso fand die von der Schulleiterin abgegebene Erklärung, wieso der Beschwerdeführer gute Arbeitszeugnisse aufwies, keinen Niederschlag im Visitationsbericht.
Das Verwaltungsgericht ging davon aus, dass diesen Punkten für den Ausgang des Verfahrens keine Bedeutung zukam. Gemessen an dem, was sonst zur Beurteilung der Wahlfähigkeit des Beschwerdeführers vorlag, erscheint diese Annahme auf den ersten Blick nicht als abwegig. Ob dies indessen tatsächlich zutrifft, kann offen bleiben, sofern sich ergibt, dass die Voraussetzungen für die Heilung der Verweigerung des rechtlichen Gehörs im verwaltungsgerichtlichen Verfahren erfüllt waren (vgl. E. 3b ff. nachfolgend).
b) aa) Die Rechtsprechung hat die Möglichkeit der Heilung von Verfahrensmängeln unter anderem aus Gründen der Prozessökonomie und zur Vermeidung von Leerläufen anerkannt, während die Lehre der Heilungspraxis überwiegend kritisch bis ablehnend gegenübersteht (Albertini, a.a.O., S. 463 f.; Lorenz Kneubühler, Gehörsverletzung und Heilung, ZBl 99/1998 S. 97 ff. insbesondere S. 107 ff., je mit Hinweisen). Das Bundesgericht hat diesbezüglich festgehalten, dass die Wahrung der Verfahrensrechte von zentraler Bedeutung ist. Eine nachträgliche Heilung eines entsprechenden Mangels kommt nur ausnahmsweise in Frage; die erstinstanzliche Behörde darf nicht darauf vertrauen, dass von ihr begangene Verfahrensverletzungen nachträglich geheilt werden, ansonsten die gerade für das erstinstanzliche Verfahren vorgesehenen prozessualen Garantien ihren Sinn verlieren (<ref-ruling> E. 6 b/aa S. 123 f., mit Hinweisen).
bb) Voraussetzung der Heilung im Rechtsmittelverfahren ist zunächst, dass das verweigerte rechtliche Gehör vom Betroffenen nachträglich voll wahrgenommen werden konnte, wenn ihm also die wesentlichen Tatsachen zur Kenntnis gebracht worden waren und er hierzu Stellung nehmen konnte (<ref-ruling> E. 2d S. 138; Albertini, a.a.O., S. 460).
Den Akten kann entnommen werden, dass der Beschwerdeführer im Rahmen des verwaltungsgerichtlichen Verfahrens noch vor Einreichung seiner Beschwerdebegründung ein Gesuch um Akteneinsicht gestellt hatte, dem auch entsprochen wurde.
Der Beschwerdeführer war somit in der Lage, nach erhaltener Akteneinsicht und in Kenntnis der ihm zunächst vorenthaltenen Aktennotiz vom 1. Februar/9. Februar 2000 den sich aus seiner Sicht ergebenden Rechtsstandpunkt im Verfahren vor Verwaltungsgericht umfassend vorzutragen.
cc) Eine Heilung des rechtlichen Gehörs im Rechtsmittelverfahren setzt sodann aber auch voraus, dass der zweiten Instanz in der betreffenden Rechtsfrage die gleiche bzw. nicht eine engere Kognition zusteht wie der Erstinstanz und dass dem Beschwerdeführer kein Nachteil erwächst (vgl.
<ref-ruling> E. 2 S. 72; <ref-ruling> E. 6b/cc S. 124; <ref-ruling> E. 2d S. 138, je mit Hinweisen). Das Erfordernis der nicht engeren Überprüfungsbefugnis gilt indessen nicht abstrakt, sondern bezieht sich nur auf diejenigen Fragen, die sich im konkreten Fall tatsächlich stellen; betreffen die Gehörsverweigerungen reine Rechtsfragen, so genügt es zur Heilung, wenn die Rechtsmittelinstanz eine uneingeschränkte Rechtsprüfung vornehmen kann (<ref-ruling> E. 2 S. 96 f.).
Sodann darf es sich nicht um eine besonders schwerwiegende Verletzung des rechtlichen Gehörs handeln (<ref-ruling> E. 2 S. 72; <ref-ruling> E. 2b S. 132, je mit Hinweisen).
Der Beschwerdeführer stellt sich auf den Standpunkt, das Verwaltungsgericht habe eine rechtlich unzulässige Heilung vorgenommen. Dem Erziehungsrat komme bei der Beurteilung der Wahlfähigkeit als Primarlehrer umfassende Kognition bezüglich Sachverhaltsfeststellung, Rechtsanwendung und Ermessensausübung zu. Demgegenüber habe das Verwaltungsgericht als Organ der verwaltungsexternen Verwaltungsrechtspflege keine Ermessenskognition. Der Anspruch auf rechtliches Gehör bedeute, dass eine mit voller Kognition ausgestattete Instanz ein verfahrensrechtlich einwandfreies Verfahren durchführe bzw. nachhole.
dd) Gemäss Art. 61 Abs. 2 und Art. 125 des Volksschulgesetzes in Verbindung mit Art. 12 ff. des kantonalen Gesetzes über die Verwaltungsrechtspflege vom 16. Mai 1965 (VRP) steht dem Erziehungsrat als verfügende Verwaltungsinstanz umfassende Kognition bezüglich Sachverhaltsfeststellung, Rechtsanwendung und Ermessensausübung (vgl. Urs Peter Cavelti, Die Verfahren vor dem Verwaltungsgericht des Kantons St. Gallen, Diss. St. Gallen, 1994, S. 149). Demgegenüber kann sich der Rechtsuchende im Beschwerdeverfahren vor Verwaltungsgericht nur auf Rechtsverletzungen sowie auf eine unrichtige oder unvollständige Feststellung des Sachverhaltes berufen (Art. 61 Abs. 1 und 2 VRP). Im Beschwerdeverfahren ist das Verwaltungsgericht somit grundsätzlich nur zur Rechtskontrolle befugt (Cavelti, a.a.O., S. 181 f.). Zur Beurteilung der Frage, ob das Verwaltungsgericht den durch den Erziehungsrat begangenen Verfahrensmangel heilen konnte, ist daher darauf abzustellen, ob die Gehörsverletzung eine reine Rechtsfrage oder aber auch die Ausübung des Ermessens betraf (<ref-ruling> E. 2 S. 96).
Nach Art. 61 Abs. 1 des Volksschulgesetzes kann der Erziehungsrat die Wahlfähigkeit durch Vermerk im Lehrdiplom ausschliessen, wenn die Eignung für die Lehrtätigkeit fehlt.
Haben sich die Verhältnisse wesentlich verändert, so stellt er ein Lehrdiplom ohne Vermerk aus (Art. 61 Abs. 2 des Volksschulgesetzes). Ob dem Inhaber eines Lehrdiploms nachträglich die Eignung zur Lehrtätigkeit zukommt, weil sich die Verhältnisse wesentlich geändert haben, ist entgegen der Auffassung des Beschwerdeführers eine reine Rechtsfrage, die der entscheidenden Behörde kein Ermessen einräumt. Es trifft zwar zu, dass dem Erziehungsrat bei der Auslegung unbestimmter Gesetzesbegriffe ein gewisser Beurteilungsspielraum zusteht.
Indessen lässt sich dem angefochtenen Urteil entnehmen, dass sich das Verwaltungsgericht bei der Beurteilung der Frage, ob eine wesentliche Veränderung der Verhältnisse im Sinne von Art. 61 Abs. 2 des Volksschulgesetzes vorliegt, keine Zurückhaltung auferlegt hat, sondern dies umfassend überprüft hat. Das Verwaltungsgericht nahm somit diesbezüglich die gleiche Kognition in Anspruch wie der Erziehungsrat, so dass der fragliche Verfahrensmangel geheilt werden konnte.
Im Weiteren kann - wie das Verwaltungsgericht zu Recht sinngemäss angenommen hat - nicht von einer derart schwerwiegenden Gehörsverletzung ausgegangen werden, welche eine Heilung ausschliessen würde. Unter diesen Umständen ist nicht ersichtlich, inwiefern die Annahme einer Heilung der Gehörsverletzung verfassungswidrig sein sollte.
4.- Die staatsrechtliche Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Erziehungsrat sowie dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
_
Lausanne, 18. Juni 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: