<ref-law> (Zivilprozess; Kostenverteilung; Streitwert), hat sich ergeben:
A.- A._ war seit dem 1. September 1998 bei der X._ AG angestellt. Am 26. Juli 1999 wurde ihm per
31. August 1999 gekündigt. A._ war vom 26. Juli 1999 bis 4. August 1999 krank und gemäss Arztzeugnis zu 100 % arbeitsunfähig.
B.- Am 9. September 1999 reichte A._ beim Arbeitsgericht Lenzburg gegen die X._ AG Klage ein. Mit dieser verlangte er die Bezahlung von zwei Monatslöhnen (August und September 1999), Feriengeld und anderen Forderungen, insgesamt Fr. 19'419. 65 nebst Zins. Im Weiteren forderte er die Ausstellung eines Arbeitszeugnisses. Das Arbeitsgericht hiess die Klage mit Urteil vom 15. November 2000 teilweise gut. Die Arbeitgeberin wurde verpflichtet, dem Arbeitnehmer netto Fr. 3'090. 25 nebst Zins zu bezahlen.
Das Gericht ermittelte einen Streitwert von Fr. 25'669. 65 und auferlegte dem Verfahrensausgang entsprechend dem Arbeitnehmer 7/8 der Gerichtskosten und 3/4 der Parteikosten der Arbeitgeberin. Mit Urteil vom 18. Juni 2001 bestätigte das Obergericht des Kantons Aargau auf Beschwerde des Arbeitnehmers hin diesen Kostenentscheid.
C.- Der Arbeitnehmer führt gegen das obergerichtliche Urteil staatsrechtliche Beschwerde beim Bundesgericht und verlangt dessen Aufhebung. Gleichzeitig reichte er ein Gesuch um Erteilung der aufschiebenden Wirkung ein, welches mit Verfügung des Präsidenten der I. Zivilabteilung vom 8. Oktober 2001 abgewiesen wurde. Die Arbeitgeberin schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Obergericht des Kantons Aargau verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer rügt, das Obergericht habe einen zu hohen Streitwert angenommen. Dies habe dazu geführt, dass dem Beschwerdeführer ein zu hoher Anteil an den Gerichtskosten und an den Parteikosten der Gegenpartei auferlegt worden sei. Die Streitwertbemessung des Obergerichts verstosse gegen das Willkürverbot und verletze den Grundsatz von Treu und Glauben (<ref-law>).
a) Willkürlich ist ein Entscheid nach ständiger Rechtsprechung nicht bereits dann, wenn eine andere Lösung ebenfalls vertretbar erschiene oder gar vorzuziehen wäre.
Das Bundesgericht hebt einen kantonalen Entscheid wegen materieller Rechtsverweigerung vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unbestrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 3 mit Hinweisen). Das Bundesgericht hebt einen Entscheid wegen Willkür nur auf, wenn sich nicht nur die Begründung des Entscheids als unhaltbar erweist, sondern auch das Ergebnis als willkürlich erscheint (<ref-ruling> E. 2; <ref-ruling> E. 2a).
b) <ref-law> beinhaltet das Grundrecht der Einzelnen, vom Staat nach Treu und Glauben behandelt zu werden.
Der verfassungsrechtliche Vertrauensschutz setzt ein Verhalten oder eine Äusserung der Behörde voraus, die gegenüber einer bestimmten Person eine Vertrauensgrundlage schafft. Im Vertrauen auf dieses behördliche Verhalten handelt der Private in einer Weise, die für ihn Schädigungen oder Nachteile zur Folge haben. Dabei spielt insbesondere der Bestimmtheitsgrad einer amtlichen Äusserung eine entscheidende Rolle (Jörg Paul Müller, Grundrechte in der Schweiz, 3. Aufl. , Bern 1999, S. 489). Äusserungen im Verkehr zwischen Behörden und Privaten sind so zu interpretieren, wie die jeweils andere Seite sie nach Treu und Glauben verstehen durfte (<ref-ruling> E. 4b; <ref-ruling> E. 4a; <ref-ruling> E. 1b/bb; Häfelin/Müller, Grundriss des Allgemeinen Verwaltungsrechts,
3. Aufl. , S. 144). Die Zivilprozessordnung des Kantons Aargau kennt ein an alle Prozessbeteiligten gerichtetes Gebot, nach Treu und Glauben zu handeln (<ref-law>/AG). Der Beschwerdeführer macht aber keinen Verstoss gegen diese Bestimmung geltend. Er rügt einzig eine Verletzung von <ref-law>, deren Vorliegen im staatsrechtlichen Beschwerdeverfahren nach der zu Art. 4 aBV entwickelten und auch für <ref-law> geltenden Praxis frei geprüft wird (<ref-ruling> E. 6).
2.- Der Beschwerdeführer bringt vor, das Klageformular, welches er vom Arbeitsgericht Lenzburg erhalten und im Hinblick auf den Prozess ausgefüllt habe, erwecke den Eindruck, die Forderung betreffend Ausstellung eines Arbeitszeugnisses beeinflusse den Streitwert der Klage nicht. Er habe aufgrund des Formulars angenommen, für die Streitwertbemessung sei ausschliesslich die Summe der in der Rubrik "Geldforderungen" aufgeführten Positionen zu berücksichtigen. Weil diese Summe unter der für die Gebührenfreiheit (damals) massgebenden Limite von Fr. 20'000.-- liege, habe er nicht mit der Auferlegung von Gerichtsgebühren zu rechnen brauchen. Es widerspreche Treu und Glauben, wenn das vorliegende Verfahren als kostenpflichtig erklärt werde, ohne den Kläger vorgängig darauf hinzuweisen.
a) Das Klageformular enthält unter anderem die beiden Rubriken "Geldforderungen" (im oberen Feld) und "andere Forderungen" (im unteren Feld). In der Rubrik "Geldforderungen" ist der folgende Vermerk enthalten:
"Bis zu einem Streitwert von Fr. 20'000.-- werden
keine Gerichtskosten erhoben und keine Parteikosten
zugesprochen.. "
Das Obergericht hält diesbezüglich fest, daraus, dass dieser Vermerk nur in der Rubrik "Geldforderungen" angebracht worden sei, dürfe nicht der Schluss gezogen werden, weitere oder andere Forderungen hätten keinen Streitwert.
Grundsätzlich müsse jeder Kläger damit rechnen, dass alle Forderungen, die er gerichtlich geltend macht, Auswirkungen auf die Höhe des Streitwertes haben und folglich die Kosten beeinflussen.
b) Es mag sein, dass die Stelle, an welcher auf die Kostenfreiheit hingewiesen wurde, den Kläger auf den ersten Blick zur Annahme verleitete, es komme nur auf die Summe der unter dem Titel "Geldforderungen" aufgeführten Positionen an. Das zweite Feld mit der Rubrik "andere Forderungen" enthält keinen derartigen Vermerk, allerdings auch keinen Hinweis, wonach die Positionen im unteren Feld keinen Einfluss auf den Streitwert hätten. Dass diese "anderen Forderungen" im Gegensatz zu den Geldforderungen keinen Vermögenswert haben sollen, wird auch sonst nicht zum Ausdruck gebracht.
Im Gegenteil: Wenn das Formular unter "andere Forderungen" auch eine Position "Anfechtung der Kündigung wegen Missbrauchs" aufführt, hätte auch ein Laie kaum ausschliessen dürfen, dass eine erfolgreiche Kündigungsanfechtung sehr wohl auch auf eine Vermögensleistung gerichtet ist. Zudem darf von einem Laien die Einsicht erwartet werden, dass Gerichtskosten aufwandabhängig sind und zusätzliche Begehren, wie beispielsweise dasjenige um Ausstellung eines Arbeitszeugnisses, zu einem zusätzlichen Aufwand führen, der sich auf die Kosten auswirkt. Bei näherem Hinsehen hätten beim Beschwerdeführer zumindest Zweifel aufkommen müssen, ob die "anderen Forderungen" nicht ebenfalls für den Streitwert relevant sein könnten. Der Beschwerdeführer hat nicht behauptet, er habe sich beim Arbeitsgericht nach dem Streitwert eines Arbeitszeugnisses erkundigt und es sei ihm eine falsche Auskunft erteilt worden. Das Formular kann keine Vertrauensgrundlage bilden, da diesem die notwendige Bestimmtheit fehlt, um beim Rechtsuchenden ein schutzwürdiges Vertrauen auf die Richtigkeit der behördlichen Auskunft zu bilden.
Das Formular lässt keine konkrete, auf den Einzelfall bezogene Beurteilung der Sachlage und des Streitwertes zu.
Das vom Arbeitsgericht verlangte Formular dient in erster Linie nicht der Streitwertbemessung, sondern der allgemeinen Information des Gerichts über den Streitgegenstand. Zudem hat der Beschwerdeführer nicht dargelegt, dass er unter der Voraussetzung einer andern Gestaltung des Klageformulares bzw. im Wissen um die Nichtbefreiung von Gerichtskosten den Prozess nicht oder anders geführt hätte. Die Voraussetzungen des Vertrauensschutzes sind mangels hinreichender Vertrauensgrundlage nicht erfüllt. Der angefochtene Entscheid ist demnach verfassungsrechtlich nicht zu beanstanden, soweit er eine Verletzung des Grundsatzes von Treu und Glauben verneint. Die Rüge des Beschwerdeführers ist unbegründet.
3.- Der Beschwerdeführer macht im Weiteren geltend, das Obergericht habe bei der Berechnung des Streitwertes gegen das Willkürverbot verstossen. Als willkürlich rügt der Beschwerdeführer namentlich die Berücksichtigung des Arbeitszeugnisses in der Höhe eines Monatslohnes sowie die doppelte Zählung eines Lohnabzuges.
a) Der Beschwerdeführer klagte sein Gehalt für August 1999 in der Höhe von Fr. 6'250.-- ein. Von diesem Lohn zog die Beschwerdegegnerin unter anderem einen Betrag von Fr. 2'962. 95 für Warenbezüge ab. Der Beschwerdeführer übersieht jedoch, dass er diesen Betrag nicht nur als Lohnbestandteil, sondern auch separat eingefordert hat. Er hat somit mit seiner Klage sowohl den gesamten Lohn für den Monat August als auch die Rückforderung des Abzuges für den Warenbezug eingefordert. Dass das Obergericht nicht sämtliche Klagebeilagen durchsuchte, um allfällige Mehrfachrechnungen aufzufinden, kann ihm nicht vorgeworfen werden. Zudem war der Augustlohn im Zeitpunkt der Klageeinreichung bereits auf das Konto des Beschwerdeführers überwiesen worden, was sich der Beschwerdeführer im Hinblick auf die Streitwertberechnung und Kostenverteilung anrechnen lassen muss. Dies umso mehr, als die Beschwerdegegnerin die Verzögerung der Lohnauszahlung angekündigt hat und es dem Beschwerdeführer ohne weiteres zuzumuten gewesen wäre, sich vor Einreichung der Klage ein letztes Mal bei seiner Bank nach dem Kontostand zu erkundigen. Das Obergericht hat somit ohne Verstoss gegen das Willkürverbot und ohne Verletzung des Gebots des Handelns nach Treu und Glauben auf die im Klagebegehren aufgeführten Beträge abgestellt, um den Streitwert zu berechnen.
Eine Verfassungsverletzung liegt diesbezüglich nicht vor.
b) Der Beschwerdeführer rügt im Übrigen als willkürlich, dass der Streitwert der eingeforderten Ausstellung eines Arbeitszeugnisses auf einen Monatslohn festgelegt wurde.
Streitigkeiten im Zusammenhang mit der Ausstellung und der Formulierung von Arbeitszeugnissen sind gemäss bundesgerichtlicher Rechtsprechung vermögensrechtlicher Natur (<ref-ruling> E. 2b). Bezüglich der Streitwerthöhe wird in erster Linie auf die übereinstimmenden Angaben der Parteien abgestellt. Fehlt eine derartige Angabe, so liegt die Bestimmung des Streitwertes im Ermessen des Sachgerichts. Der Einfluss der Arbeitszeugnisse auf den Streitwert wird in den Kantonen verschieden bewertet. In einigen Kantonen wird ein tiefer, eher symbolischer Wert angenommen. In anderen Kantonen, wie beispielsweise Zürich, Thurgau und Aargau, geht man von einem Streitwert in der Höhe eines Monatslohns aus (Streiff/von Kaenel, Arbeitsvertrag, 5. Aufl. , N. 6 zu <ref-law>; Leuenberger/Uffer, Kommentar zur Zivilprozessordnung des Kantons St. Gallen, Bern 1999, N. 4e zu Art. 75; Bühler/Edelmann/Killer, Kommentar zur aargauischen Zivilprozessordnung,
2. Aufl. , N. 18g zu §§ 16 und 17 ZPO/AG). Das Arbeitsgericht hat somit ebenso wenig wie das Obergericht willkürlich gehandelt, wenn es den Streitwert des Arbeitszeugnisses gemäss der kantonalen Praxis auf einen Monatslohn festgesetzt hat.
c) Zusammenfassend ist festzuhalten, dass die Streitwertbemessung durch das Obergericht willkürfrei erfolgte.
Der Streitwert der vom Beschwerdeführer eingereichten Klage wurde ohne Verfassungsverletzung auf Fr. 25'669. 95 festgelegt. Die Klage wurde im Umfang von Fr. 3'090. 25 gutgeheissen.
Der Beschwerdeführer beanstandet die Kostenauflage von 7/8 bei diesem Streitwert nicht. Aus den genannten Gründen ist die staatsrechtliche Beschwerde haltlos und daher abzuweisen.
4.- In arbeitsrechtlichen Streitigkeiten werden bis zu einem bestimmten Streitwert keine Gerichtskosten erhoben.
Diese Streitwertgrenze wurde auf den 1. Juni 2001 auf Fr. 30'000.-- angehoben (<ref-law>). Diese höhere Streitwertgrenze gilt auch in Bezug auf Verfahren, die zu diesem Zeitpunkt bereits bei einem Gericht hängig waren. Da der Streitwert unter dieser Grenze liegt, werden im vorliegenden Verfahren keine Gerichtskosten erhoben. Der Beschwerdeführer hat allerdings der Beschwerdegegnerin dennoch eine Parteientschädigung zu entrichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau (3. Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 21. November 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: