(Zivilprozess; Beweiswürdigung), hat sich ergeben:
A.- Robert Bodenmann arbeitete ab ca. 1960 für den Beschwerdeführer, der in Herisau eine gewerbliche Glasbläserei mit mehreren Angestellten betreibt. Seine Ehefrau, Theresia Bodenmann-Schmitz (Beschwerdegegnerin), besorgte während vieler Jahre im gleichen Betrieb Reinigungsarbeiten.
Ab 1. Oktober 1980 vermietete der Beschwerdeführer an Robert Bodenmann eine 3 1/2 Zimmerwohnung im 3. Stock seines Mehrfamilienhauses "Im Güetli" in Herisau für einen monatlichen Mietzins von Fr. 300.--, die Kosten für Heizung, Warmwasseraufbereitung und Wasserkonsum eingeschlossen. Anlässlich seiner Pensionierung im Jahre 1986 erhielt Robert Bodenmann aus vorobligatorischer Altersvorsorge, an die er selber keine Beiträge geleistet hatte, ein einmaliges Pensionsgeld von Fr. 17'500.-- ausbezahlt. Zusammen mit seiner Ehefrau blieb er in der Mietwohnung, bezahlte aber in der Folge im Einverständnis mit dem Beschwerdeführer keinerlei Mietzins mehr.
Mit Schreiben vom 1. März und 15. Juni 1992 forderte der Beschwerdeführer die Eheleute Bodenmann auf, sich eine neue Wohnung zu suchen. Diese machten daraufhin geltend, es sei ihnen ein lebenslängliches unentgeltliches Wohnrecht eingeräumt worden. In der Folge kündigte der Beschwerdeführer die Wohnung am 30. August 1994 per 30. November 1994. Die angerufene Schlichtungsstelle für Miet- und Pachtverhältnisse trat am 16. November 1994 mangels Vorliegens eines Mietverhältnisses auf die Streitsache nicht ein.
B.- Am 20. März 1995 ersuchte der Beschwerdeführer um Ausweisung der Eheleute Bodenmann und um Verpflichtung derselben zur Zahlung von Fr. 3'000.-- nebst Zins. Die Eheleute Bodenmann verlangten widerklageweise die Feststellung, es stehe ihnen an der zur Zeit bewohnten Wohnung ein lebenslängliches unentgeltliches Wohnrecht zu. Zudem ersuchten sie um Eintragung dieses Wohnrechts im Grundbuch von Herisau. Am 18. Januar 1996 verstarb Robert Bodenmann. Mit Urteil vom 16. September 1998 wies das Kantonsgericht von Appenzell Ausserrhoden (5. Abteilung) die Klage ab und hiess die Widerklage in Bezug auf das Feststellungsbegehren gut. Hinsichtlich des Eintragungsbegehrens schrieb es die Widerklage zufolge Rückzugs als erledigt ab. Gleich entschied auf Appellation des Beschwerdeführers das Obergericht des Kantons Appenzell Ausserrhoden am 23. November 1999.
C.- Der Beschwerdeführer beantragt dem Bundesgericht mit staatsrechtlicher Beschwerde, das obergerichtliche Urteil aufzuheben.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde. Das Obergericht hat auf Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer macht geltend, die Schlichtungsstelle sei auf eine Kündigungsanfechtung der Beschwerdegegnerin und ihres verstorbenen Ehemannes nicht eingetreten, weil mangels entgeltlicher Gebrauchsüberlassung kein Mietverhältnis vorliege. Das Obergericht setze sich über diese Feststellung hinweg, gehe von der Entgeltlichkeit des beanspruchten Wohnrechts aus und bezeichne dieses als arbeitsvertragliche Gegenleistung für eine angeblich unüblich tiefe Entlöhnung. Damit habe es die Rechtskraftwirkung des Nichteintretensentscheids der Schlichtungsstelle prozesswidrig verkannt.
Ungeachtet der Frage, ob ein Prozessurteil, mit welchem auf eine Klage mangels sachlicher Zuständigkeit nicht eingetreten wird, überhaupt in materielle Rechtskraft erwachsen kann, bestimmt das Bundesrecht über die Verbindlichkeit eines Urteils für spätere Prozesse, soweit der zu beurteilende Anspruch auf Bundesrecht beruht (<ref-ruling> E. 1 mit Hinweisen). Dies gilt auch für unangefochten gebliebene Entscheide der Schlichtungsbehörden betreffend Kündigungsanfechtung, welche gemäss <ref-law> kraft Bundesrechts in Rechtskraft erwachsen (vgl. Higi, Zürcher Kommentar, N. 140 zu <ref-law>). Damit bestimmt sich auch nach Bundesrecht, ob dem Entscheid der Schlichtungsstelle vom 16. November 1994 Rechtskraftwirkung zukommen kann. Verletzungen von Bundesrecht sind aber mittels Berufung geltend zu machen (Art. 84 Abs. 2 OG). Entsprechend ist auf diese Rüge nicht einzutreten.
b) Nicht einzutreten ist auf die weitere Rüge des Beschwerdeführers, das Obergericht habe sich willkürlich einer - zumindest analogen - Anwendung von <ref-law> verschlossen und damit verkannt, dass mit dem Ableben des Ehemanns der Beschwerdegegnerin auch deren Anspruch auf ein allfälliges Wohnrecht erloschen sei. Der Vorwurf willkürlicher Anwendung von Bundesrecht beinhaltet a fortiori denjenigen seiner Verletzung und ist damit vom Beschwerdeverfahren ausgeschlossen (Poudret, Commentaire de la loi fédérale d'organisation judiciaire, N. 1.6.3 und 2.2 zu Art. 43 OG).
2.- Der Beschwerdeführer rügt die Beweiswürdigung durch das Obergericht als willkürlich.
a) Seit 1. Januar 2000 ist nicht mehr die alte Bundesverfassung der Schweizerischen Eidgenossenschaft vom 29. Mai 1874 (aBV) sondern die neue Bundesverfassung vom 18. April 1999 (BV) in Kraft (Bundesbeschluss vom 28. September 1999, AS 1999 2555, BBl 1999 7922). Ein Verstoss gegen das in <ref-law> normierte Willkürverbot liegt nach der - nach wie vor massgeblichen - Rechtsprechung zu Art. 4 aBV (BBl 1997 144) nicht bereits dann vor, wenn eine andere als die vom kantonalen Gericht gewählte Lösung ebenfalls vertretbar oder gar vorzuziehen ist. Das Bundesgericht schreitet erst ein, wenn der angefochtene Entscheid nicht nur unrichtig, sondern schlechthin unhaltbar ist, insbesondere wenn er eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt (<ref-ruling> E. 5b; <ref-ruling> E. 2a). Erforderlich ist zudem, dass der Entscheid im Ergebnis verfassungswidrig ist, die dazu gegebene Begründung ist nicht allein ausschlaggebend (BGE <ref-ruling> E. 2a).
Nach der Rechtsprechung verfällt eine Behörde in Willkür, wenn sie ihrem Entscheid Tatsachenfeststellungen zugrunde legt, die mit den Akten in klarem Widerspruch stehen.
Im Bereich der Beweiswürdigung besitzt das Sachgericht allerdings einen weiten Ermessensspielraum, zumal das kantonale Recht - anderslautende Anordnungen des Bundesrechts vorbehalten - bestimmt, mit welchen Mitteln und in welchem Verfahren der Beweis zu führen ist und ob freie Beweiswürdigung gilt (<ref-ruling> E. 3; Vogel, Grundriss des Zivilprozessrechts,
6. Aufl. , S. 270) . Verfassungswidrig ist daher eine Beweiswürdigung bloss, wenn sie offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht oder sonstwie in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkürlich ist insbesondere eine Beweiswürdigung, welche einseitig einzelne Beweise berücksichtigt oder Sachvorbringen als unbewiesen annimmt, obgleich sie aufgrund des Verhaltens der Gegenpartei offensichtlich als zugestanden zu gelten hätten (<ref-ruling> E. 1b). Dagegen reicht nicht bereits aus, dass die vom Sachgericht gezogenen Schlüsse mit der Darstellung der beschwerdeführenden Partei nicht übereinstimmen oder die Verfassungsinstanz bei freier Prüfung möglicherweise nicht zu überzeugen vermöchten.
b) Das Obergericht stellte für die Beantwortung der strittigen Frage, ob der Beschwerdeführer Zusagen hinsichtlich einer unentgeltlichen Überlassung einer Wohnung nach erfolgter Pensionierung gemacht habe, auf verschiedene Zeugenaussagen ab. Deren Würdigung gibt der Beschwerdeführer als willkürlich aus. So hat nach seiner Auffassung das Obergericht nicht berücksichtigt, dass der Zeuge Keller seine Informationen nur vom Hörensagen gehabt und überdies eingeräumt habe, nicht zu wissen, wie lange das "gratis wohnen" dauern sollte. Auch die Aussage des Zeugen Ernst Heierli könne zur Klärung der strittigen Frage nichts beitragen, weil dieser selbst ausgeführt habe, nicht zu wissen, ob der Beschwerdeführer dem Ehemann der Beschwerdegegnerin eine Zusicherung betreffend "gratis wohnen" abgegeben habe. Dasselbe gelte für die Aussage der Zeugin Hanni Heierli, die zu Protokoll gegeben habe, "diese Abmachung nicht aus eigener Wahrnehmung" zu kennen. Die Depositionen dieser Zeugin seien zudem deshalb unverwertbar, weil sie das Beweisthema vor ihrer Einvernahme mit Walter Vögtlin, einem Prozessgegner des Beschwerdeführers in einem anderen Verfahren, besprochen habe. Der Zeuge Herbert Hauser habe unzweideutig ausgeführt, es sei ihm nicht bekannt, ob der Beschwerdeführer gegenüber der Beschwerdegegnerin oder deren Ehemann die strittige Zusage abgegeben habe. Ähnlich habe sich auch der Zeuge Gmür, immerhin während 43 Jahren Mitarbeiter im Betrieb des Beschwerdeführers, geäussert. Dieser Zeuge sei zudem zum Zeitpunkt seiner Befragung wegen derselben Thematik mit dem Be- schwerdeführer in Streit gelegen, weshalb seiner Aussage kein Beweiswert zukomme. Das Obergericht habe aus den Zeugenaussagen auf den Bestand eines unentgeltlichen Wohnrechts geschlossen, obwohl keiner der Zeugen einen solchen Sachverhalt aus eigener Wahrnehmung habe bestätigen können. Damit sei es in Willkür verfallen.
c) Der Willkürvorwurf ist unbegründet. Das Obergericht hat durchaus erkannt, dass kein direkter Beweis für die strittige Tatsachenbehauptung der Beschwerdegegnerin besteht.
Dass die befragten Zeugen aus eigener Wahrnehmung eine allfällige Zusicherung des Beschwerdeführers hinsichtlich eines unentgeltlichen Wohnrechts nicht bestätigten konnten, macht ihre Aussagen aber nicht wertlos. Nach <ref-law>/AR können Aussagen vom Hörensagen "je nach der Zuverlässigkeit der Quelle" gewertet werden. Die zum vorerwähnten Beweisthema befragten fünf Zeugen bestätigten übereinstimmend, dass der Beschwerdeführer pensionierten Betriebsmitarbeitern Wohnungen in eigenen Mehrfamilienhäusern zur Verfügung stellte. Die Zeugen Keller, Ernst und Hanny Heierli sagten überdies - gemäss Befragungsprotokoll - aus, die Wohnungen würden den Pensionären gratis überlassen. Dass der - unter Androhung der Strafverfolgung bei Falschaussage - befragte Zeuge Gmür Prozessabsichten gegen den Beschwerdeführer hegt, macht seine Aussage nicht wertlos, zumal keine Anhaltspunkte geltend gemacht sind, die auf eine Voreingenommenheit deuten würden. Der Zeuge Vögtlin schliesslich wurde zum Beweisthema "Gratis Wohnen" gar nicht befragt, weshalb der Befangenheitsvorwurf des Beschwerdeführers ohnehin der Grundlage entbehrt. Das Obergericht schloss aus den Zeugenaussagen sowie aus der unbestrittenen Tatsache, dass die Eheleute Bodenmann über 10 Jahre kein Entgelt für die Betriebswohnung leisteten, auf eine "Altersvorsorge eigener Prägung", welche u.a. die unentgeltliche Überlassung einer Wohnung beinhaltet habe. Dieser Schluss kann nicht als geradezu unhaltbar und damit verfassungswidrig ausgegeben werden.
d) Das Obergericht kam in Würdigung der Zeugenaussagen zum weiteren Schluss, das unentgeltliche Wohnrecht zu Gunsten des pensionierten Ehemannes der Beschwerdegegnerin gelte nach dessen Ableben auch zu deren Gunsten. Der Beschwerdeführer gibt diesen Schluss als willkürlich aus. Seiner Auffassung nach hat keiner der Zeugen Aussagen zum weiteren Bestand des Wohnrechts für den Ehegatten eines vorverstorbenen pensionierten Mitarbeiters gemacht. Auch diese Willkürrüge geht fehl. Alle befragten Zeugen äusserten übereinstimmend, von einem unentgeltlichen Wohnrecht auch zu Gunsten des Ehegatten des Betriebsmitarbeiters ausgegangen zu sein. Daraus den Schluss zu ziehen, nicht nur den pensionierten Betriebsmitarbeitern, sondern auch deren Ehegatten stünde ein eigenes Wohnrecht zu, ist nicht unhaltbar. Dies mit Bezug auf die Beschwerdegegnerin schon deshalb nicht, weil sie selbst während Jahren im Betrieb des Beschwerdeführers mitgearbeitet hat.
3.- Der Beschwerdeführer rügt als Verletzung seines Gehörsanspruchs und als willkürliche antizipierte Beweiswürdigung, das Obergericht habe zwei ehemalige Mitarbeiter nicht einvernommen, die beide kein Anrecht auf Benützung einer Betriebswohnung gehabt und einen solchen Anspruch auch nicht geltend gemacht hätten.
a) Aus Art. 4 aBV ergibt sich in Bezug auf das rechtliche Gehör insbesondere der Anspruch der Parteien, mit rechtzeitig und formgültig angebotenen Beweisanträgen gehört zu werden, soweit diese erhebliche Tatsachen betreffen und nicht offensichtlich beweisuntauglich sind (<ref-ruling> E. 3b ; <ref-ruling> E. 2b, je mit Hinweisen). Nach der Rechtsprechung kann der Richter das Beweisverfahren schliessen, wenn die Beweisanträge eine nicht erhebliche Tatsache betreffen oder offensichtlich untauglich sind, oder wenn er auf Grund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (<ref-ruling> E. 4a; <ref-ruling> E. 5b). Eine solche antizipierte Beweiswürdigung ist zulässig und verstösst insbesondere nicht gegen Verfassungsrecht, wie die ständige Rechtsprechung zu Art. 4 Abs. 1 aBV zeigt (<ref-ruling> Erw. 4b; <ref-ruling> Erw. 1d mit Hinweis).
Diese Rechtsprechung gilt auch unter der Herrschaft von Art. 29 Abs. 2 der neuen Bundesverfassung.
b) Das Obergericht begründete die Abweisung des Antrages auf Befragung der beiden Zeugen damit, mit den Zeugen Hauser und Heierli seien bereits Personen befragt worden, von denen als Nichtbetriebsangehörige unbefangene Auskünfte hätten erwartet werden können. Diese wie auch die weiteren Zeugen Keller und Gmür hätten vom Angebot einer unentgeltlichen Alterswohnung gesprochen. Selbst wenn nun die zusätzlich zur Einvernahme beantragten Zeugen aussagen würden, nie von der strittigen Zusicherung des Beschwerdeführers gehört zu haben, würde das Gericht gestützt auf die übrigen Zeugenaussagen auf den Bestand einer solchen Zusicherung schliessen.
Die Rüge der Verfassungsverletzung ist unbegründet.
Das Obergericht durfte nach der Prozessordnung - wie ausgeführt - auch blosse Zeugenaussagen "vom Hörensagen" abstellen.
Es gelangte aufgrund dieser Aussagen und in Würdigung des Umstandes, dass den Eheleuten Bodenmann die Betriebswohnung während Jahren unentgeltlich überlassen worden war, zur Überzeugung, dass ein Wohnrecht im geltend gemachten Umfang zu Gunsten der Eheleute Bodenmann bestehe. Diese Beweiswürdigung lässt sich auch ohne die beantragte Zeugeneinvernahme vor der Verfassung halten. Ob dem Beschwerdeführer damit das Recht auf den Gegenbeweis entzogen wurde, ist als Frage des Bundesrechts nicht im vorliegenden Verfahren zu prüfen.
4.- Das Obergericht erachtet die Zusicherung des Beschwerdeführers an die Beschwerdegegnerin auch deshalb als erstellt, weil ihrem Ehemann ein unüblich tiefer Arbeitslohn ausgerichtet worden sei und die unentgeltliche Überlassung einer Betriebswohnung nach Erreichen des Pensionsalters deshalb als Bestandteil des Arbeitsvertrages zu betrachten sei.
Der Beschwerdeführer rügt die Feststellung als willkürlich, der Ehemann der Beschwerdegegnerin habe einen unüblich tiefen Lohn erhalten.
a) Das Obergericht verglich die dem Ehemann der Beschwerdegegnerin ab 1960 bis 1986 ausbezahlten Jahreslöhne mit dem statistischen Durchschnittslohn, wie er vom kantonalen Arbeitsamt für dieselbe Periode ermittelt worden war.
Dabei stellte es fest, dass ab 1980, dem Zeitpunkt der behaupteten Zusicherung, der effektive Lohn von Robert Bodenmann im Vergleich zum statistischen Durchschnittslohn weniger stark gewachsen ist. Allerdings stieg der effektive Lohn nur in der Periode zwischen 1976 und 1980 im Vergleich zum statistischen Durchschnitt stärker an. Absolut gesehen lag der effektive Lohn Bodenmanns stets unter dem statistischen Durchschnittslohn. Dieser betrug etwa im Jahre 1985 Fr. 37'628.--, jener in der gleichen Periode aber bloss Fr. 28'826.--. Selbst wenn dem Ehemann der Beschwerdegegnerin ein zusätzlicher Lohnbestandteil, berechnet als Differenz des effektiven zu einem marktüblichen - nach Auffassung des Beschwerdeführers auf ca. Fr. 550.-- im Jahre 1981 und Fr. 700.-- im Jahre 1986 zu veranschlagenden - Mietzins aufgerechnet wird, bleibt der Lohn des zwar nicht diplomierten, jedoch seit 1960 beim Beschwerdeführer beschäftigen Glasbläsers unter dem statistischen Durchschnitt.
b) Nichts zu seinen Gunsten vermag der Beschwerdeführer aus der Lohnauskunft der Schweizerischen GlasbläserVereinigung abzuleiten. Der Fachverband, der lediglich Zahlen für 1986 eruieren konnte, stellte fest, dass im betreffenden Jahr für die Kantone Baselland und Zürich ein Bruttoeinkommen von Fr. 38'400.-- bis Fr. 42'000.--, ohne Gratifikation, branchenüblich war. Weiter bejahte er eine entsprechende Frage des Obergerichts, dass der Arbeitsplatz Herisau "auf das Einkommen einen Einfluss hatte". Gestützt darauf lässt sich nicht einfach schliessen, dass der branchenübliche Lohn in Herisau "tiefer" (im Vergleich wozu ?) anzusetzen wäre. Ebensowenig gibt die Aussage des Zeugen Keller etwas für die Argumentation des Beschwerdeführers her. Der Zeuge führte auf die Frage nach dem branchenüblichen Lohn für einen Hilfsarbeiter in der Glasverarbeitungsbranche aus, dieser betrage ohne Nebenleistungen und mit den üblichen Abzügen Fr. 3'000.-- bis Fr. 3'500.-- brutto. Für das Jahr 1986 könnte er bei ca. Fr. 2'500.-- gelegen haben. Auch aus dieser Aussage lässt sich immerhin schliessen, dass der effektive Lohn Bodenmanns in den Jahren vor 1986 markant unter dem branchenüblichen Lohn lag. Mithin ist die angefochtene Feststellung von Verfassung wegen nicht zu beanstanden.
5.- Die staatsrechtliche Beschwerde ist damit abzuweisen, soweit darauf eingetreten werden kann. Ausgangsgemäss ist der Beschwerdeführer kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.- Die Gerichtsgebühr von Fr. 5'000.-- wird dem Beschwerdeführer auferlegt.
3.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht,
1. Abteilung von Appenzell A.Rh. schriftlich mitgeteilt.
_
Lausanne, 22. Juni 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: