(Zivilprozess; Beweiswürdigung), hat sich ergeben:
A.- Die Rechtsvorgängerin der M._ AG schloss im Jahre 1993 als Bauherrin mit der Rechtsvorgängerin der L._ AG als Totalunternehmerin einen Werkvertrag über die schlüsselfertige Ausführung von vier Mehrfamilienhäusern in der Überbauung X._ zu einem Pauschalpreis von Fr. 8'700'000.--. Die Parteien erklärten das Leistungsverzeichnis sowie die SIA-Norm 118 zum ergänzenden Vertragsbestandteil.
Die Bauten wurden im Jahre 1995 erstellt und am 20. November 1995 abgenommen.
Nachdem die Hauseigentümerin M._ AG im Haus D unter dem Treppenlauf UG/EG und an der Kellerwand Feuchtigkeitsflecken entdeckt hatte, besichtigten die Parteien am 15. Dezember 1998 gemeinsam den festgestellten Schaden. Mit Gesuch vom 31. März 1999 leitete die Hauseigentümerin M._ AG beim Bezirksgericht Bischofszell ein Verfahren zur vorsorglichen Beweisaufnahme u.a. hinsichtlich konstruktiver und planerischer Mängel in den Häusern A, B, C und D ein. das Verfahren wurde nach Einholung einer gerichtlichen Expertise mit Verfügung vom 7. September 1999 abgeschlossen.
B.-Mit Urteil vom 19. Juni/15. November 2000 hiess das Bezirksgericht Bischofszell die Klage der Hauseigentümerin M._ AG auf Bezahlung von Fr. 144'623. 35 nebst Zins als Minderwert zufolge Werkmängeln an den Häusern A bis D vollumfänglich gut. Die dagegen erhobene Berufung der Unternehmerin L._ AG wies das Obergericht des Kantons Thurgau ab. Es reduzierte jedoch das Klagebegehren von Amtes wegen, mit dem Einverständnis der Klägerin, auf Fr. 104'632. 35 und korrigierte damit ein Missverständnis der beiden Parteien und des Bezirksgerichts hinsichtlich der Berechnung des Minderwerts im gerichtlichen Gutachten.
C.-Mit staatsrechtlicher Beschwerde beantragt die Unternehmerin L._ AG dem Bundesgericht, das obergerichtliche Urteil sei aufzuheben. Gleichzeitig erhebt sie Berufung.
Das Obergericht hat auf Vernehmlassung verzichtet, die Beschwerdegegnerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- Die Beschwerdeführerin hat gegen das obergerichtliche Urteil sowohl staatsrechtliche Beschwerde als auch Berufung eingereicht. Es besteht hier kein Anlass, von der Regel des Art. 57 Abs. 5 OG abzuweichen, wonach zuerst die staatsrechtliche Beschwerde zu behandeln ist.
2.-Vor Obergericht streitig war im Wesentlichen die Frage, ob die geheimen Mängel rechtzeitig gerügt worden sind. Dabei hat das Obergericht unterschieden zwischen der Rüge betreffend das Haus D, bei welchem der Mangel aufgrund eines Feuchtigkeitsfleckens zu Tage getreten war, und derjenigen betreffend die Häuser A bis C, deren Mängel infolge der Untersuchungen zum Haus D entdeckt wurden.
Mit staatsrechtlicher Beschwerde rügt die Beschwerdeführerin zur Hauptsache Willkür in der Sachverhaltsfeststellung bzw. der Beweiswürdigung.
a) Im Bereich der Beweiswürdigung steht den kantonalen Gerichten ein weiter Ermessensspielraum zu. Rügt der Beschwerdeführer Willkür in der Feststellung des Sachverhalts, so greift das Bundesgericht nur mit Zurückhaltung ein und hebt den angefochtenen Entscheid lediglich dann auf, wenn die Beweiswürdigung offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, auf einem offenkundigen Versehen beruht oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4b mit Hinweisen). Da das Bundesgericht im Verfahren der staatsrechtlichen Beschwerde nur klar und detailliert erhobene und, soweit möglich, belegte Rügen prüft (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1b S. 495, 127 I 38 E. 3c, je mit Hinweisen), genügt es nicht, Willkür zu behaupten. Vielmehr hat der Beschwerdeführer im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid gegen das Willkürverbot verstösst.
b) Was die Mängelrüge betreffend Haus D anbelangt, ist unbestritten, dass die Vertreter der Parteien den Schaden am 15. Dezember 1998 besichtigten, und dass der Besichtigungstermin zuvor telefonisch vereinbart worden war.
aa) Willkür wirft die Beschwerdeführerin dem Obergericht insofern vor, als es angenommen hat, der Mangel sei anlässlich der telefonischen Vereinbarung des Besichtigungstermins vom 15. Dezember 1998 gerügt worden.
Das Obergericht hat seine Annahme nicht etwa, wie die Beschwerdeführerin sinngemäss behauptet, aus der Luft gegriffen, sondern auf die Tatsache gestützt, dass am vereinbarten Termin der Feuchtigkeitsschaden besichtigt wurde.
Wenn sie rückschliesst, der Vertreter der Beschwerdegegnerin müsse anlässlich der telefonischen Vereinbarung der Ortsschau erklärt haben, weshalb er eine solche wünschte, ist dies nachvollziehbar. Die Beschwerdeführerin macht denn auch nicht geltend, der Termin sei zu einem anderen Zweck vereinbart worden. Ein Widerspruch zu den Akten wird zwar behauptet, ist aber in keiner Weise belegt (Art. 90 Abs. 1 lit. b OG). Willkür liegt insoweit nicht vor.
bb) Die Beschwerdeführerin rügt die Feststellung des Obergerichts, dass die telefonische Mängelrüge einige Tage vor der Besichtigung vom 15. Dezember 1998 erfolgt sei, als willkürlich. Der Zeuge N._ habe das genaue Datum des Telefonats nicht zu nennen vermocht und unpräzise Angaben gemacht. Demgemäss habe der Termin auch am 14., ja sogar am 15. Dezember 1998 vereinbart worden sein können.
Entgegen der Auffassung der Beschwerdeführerin erscheint die Eingrenzung des Zeitraums der Mängelrüge auf einige Tage vor dem 15. Dezember 1998, gleichbedeutend mit "kurz vor dem 15. Dezember" und "wenige Tage [...] vor dem
15. Dezember", nicht als unhaltbar, zumal es üblich ist, Terminabreden einige Tage im Voraus zu treffen. Dass auch möglich gewesen wäre, das Telefonat auf den Vortag, sogar auf den Tag der Besichtigung selbst festzulegen, ändert daran nichts, denn Willkür liegt nicht schon dann vor, wenn eine andere als die vom kantonalen Gericht gewählte Lösung ebenfalls vertretbar oder gar vorzuziehen wäre (<ref-ruling> E. 2a; <ref-ruling> E. 2b, je mit Hinweisen).
c) Hinsichtlich der Mängel an den Häusern A bis C ist das Obergericht davon ausgegangen, dass diese erst nach dem Vorliegen der gerichtlichen Expertise mit der erforderlichen Sicherheit feststanden.
Mit ihren Ausführungen hat die Beschwerdeführerin Willkür nicht rechtsgenügend dargetan. Zwar wies die Beschwerdegegnerin in ihrem Schreiben vom 31. März 1999 auf konstruktive und planerische Mängel an allen vier Häusern hin, wie die Beschwerdeführerin vorbringt. Das muss jedoch nicht heissen, dass sie bereits damals sichere Kenntnis davon hatte. Diese setzt - zumindest vorliegend - deren (sichere) objektive Erkennbarkeit voraus. Inwiefern den Ende März vorliegenden Expertisen O._ und P._ zu entnehmen gewesen wäre, dass mit Bestimmtheit alle Häuser an denselben Planungs- und Konstruktionsmängeln leiden wie Haus D, zeigt die Beschwerdeführerin nicht auf und ist nicht ersichtlich.
Indem das Obergericht angenommen hat, dass die Beschwerdegegnerin die Mängel ab Vorliegen des gerichtlichen Gutachtens gekannt hat, ist es vom frühestmöglichen Zeitpunkt ausgegangen. Die Rüge, es habe den Zeitpunkt der Entdeckung des Mangels willkürlich spät angesetzt, entbehrt somit jeder Grundlage.
3.- Schliesslich rügt die Beschwerdeführerin die willkürliche Anwendung kantonalen Prozessrechts. Das Obergericht habe den Streitwert um Fr. 40'000.-- herabgesetzt und die Forderung der Beschwerdegegnerin in um diesen Betrag reduzierter Höhe bestätigt. Dass es der Beschwerdeführerin im Rahmen der Kostenverlegung dennoch sämtliche Kosten überbunden habe, stelle eine krasse Verletzung von <ref-law>/TG dar.
a) Nach <ref-law>/TG trägt in der Regel die unterliegende Partei die Gerichtskosten und sie hat der Gegnerin auf Antrag ihre Parteikosten zu entschädigen. Geht das Verfahren nicht vollständig zugunsten einer Partei aus, werden gemäss Abs. 2 dieser Bestimmung die Kosten in der Regel anteilsmässig verlegt.
b) Das Obergericht hat erwogen, eine nachträgliche Reduktion des eingeklagten Betrags habe grundsätzlich unbeachtet zu bleiben. Der Beschwerdegegnerin dürfe aber daraus, dass beide Parteien und auch das Bezirksgericht die gutachterlichen Berechnungen falsch interpretierten und während des ganzen erstinstanzlichen Verfahrens von einem zu hohen Streitwert ausgingen, nachträglich kein Nachteil erwachsen.
c) Inwiefern das Obergericht den ihm nach <ref-law> zustehenden Ermessensspielraum willkürlich überschritten haben soll, legt die Beschwerdeführerin nicht rechtsgenügend dar. Dass sie im kantonalen Verfahren vorgebracht hätte, die Beschwerdegegnerin habe sich um Fr. 40'000.-- überklagt, sie mithin die Forderung bezüglich ihrer Höhe angefochten hätte, macht sie ebenfalls nicht geltend. Da das Obergericht die Korrektur ohne Antrag der Beschwerdeführerin zu deren Gunsten vorgenommen hat, ist verfassungsrechtlich nicht zu beanstanden, dass es gleichzeitig von der üblichen Kostenverlegung abgewichen ist.
4.-Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist. Die Beschwerdeführerin wird damit kostenpflichtig und hat der Beschwerdegegnerin eine Parteientschädigung zu bezahlen (Art. 156 Abs. 1 und Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.-Die staatsrechtliche Beschwerde wird abgewiesen.
2.-Die Gerichtsgebühr von Fr. 5'000.-- wird der Beschwerdeführerin auferlegt.
3.-Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'O00.-- zu entschädigen.
4.-Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 3. April 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: