Kaufvertrag; Mängelhaftung, hat sich ergeben:
A.- Die B._ AG unterbreitete der Bauherrschaft bezüglich der inneren und äusseren Verputzarbeiten für ein Einfamilienhaus an der Helgenstrasse 10 in Winterthur einen Kostenvoranschlag. Dieser sah die Verwendung von Verputzmaterial der A._ AG und für die Aussenwände einen "Haga-Kalkzementanwurf" vor. Am 2. Oktober 1996 hat sich der projektierende Architekt C._ telefonisch bei der A._ AG erkundigt, ob der Kalkzementanwurf notwendig sei. Herr D._ von der A._ AG hat dies verneint.
Da die B._ AG den Aussenverputz dennoch mit einem Zementanwurf ausführen wollte, verlangte Architekt C._ von der A._ AG eine Garantie für die Ausführungsart ohne Zementanwurf. In der Folge unterzeichnete die A._ AG eine undatierte Systemgarantie, welche den Wandaufbau im Geschoss und Sockelbereich beschreibt, Anweisungen bezüglich der zu verwendenden Netze bzw. Drahtgittergeflechte enthält und unter dem Titel "Arbeitsausführung" folgende Passage aufweist:
"- Vor Arbeitsbeginn Absprache mit der Firma
A._ AG auf Platz, Herr E._
- Freigabe der Arbeitsausführung durch Firma
A._ AG
Der Wandaufbau basiert auf den technischen Unterlagen
der Firma A._ AG
Der Putzaufbau wurde telefonisch mit Herrn
D._, Firma A._ AG, am 2.10.1996 mit
folgendem Inhalt besprochen:
- Ecken gut einnetzen
- Stürze und Materialübergänge, einnetzen erforderlich
- Zementanwurf nicht erforderlich
- HAGASIT Altputz mind. 1,5 - 2,0 mm, kann aufWärme- dämmputz ohne netzen und Ausglättung verarbeitet
werden, ergibt lebendiges Fassadenbild.
Die Firma A._ AG bestätigt, dass der beschrie- bene Wandaufbau den Anforderungen für die Systemga
rantie entspricht und garantiert für die Konstruktion
gemäss Norm SIA 243, verputzte Aussenwärmedämmung. "
Am 18. Oktober und 11., 19. und 21. November 1996 lieferte die A._ AG der B._ AG insgesamt 1400 Säcke "Biotherm"-Isolierputz. Dieser wurde in der Folge auf der Baustelle verarbeitet.
Im März 1997 stellte Architekt C._ Risse im inneren Verputz fest, worauf er eine Besprechung auf dem Bau einberief, welche am 19. März 1997 stattfand. Umstritten ist, ob die A._ AG anlässlich dieser Besprechung eine Schuldanerkennung abgegeben hat. In der Folge liess die B._ AG Materialproben entnehmen und durch das Baulabor F._ AG, untersuchen. Zudem liess sie das Schadensbild fotografieren und holte bei Dr. G._, ein Privatgutachten ein. Danach wurden der Innenputz ganz sowie der Aussenputz teilweise abgebrochen und neu erstellt. Die damit zusammenhängenden Kosten bezifferte das Architekturbüro C._ und Co. auf Fr. 157'686. 35.
B.- Am 18. November 1999 klagte die B._ AG beim Handelsgericht des Kantons Aargau gegen die A._ AG auf Zahlung von Fr. 120'767. 60 nebst Zins zu 5 % auf Fr. 91'161. 10 seit 23. Mai 1998 und auf Fr. 29'606. 50 seit
1. Februar 1997. Zur Begründung führte die Klägerin aus, der Innenputz habe der Systemgarantie nicht entsprochen, weshalb die Klägerin die Wandelung und die Rückzahlung des Kaufpreises von Fr. 29'606. 50 und daneben Schadenersatz für den durch die Bauherrschaft zurückbehaltenen Werklohn von Fr. 91'161. 10 verlange. Bezüglich des Aussenputzes, bei dem keine relevanten Schäden aufgetreten sind, machte die Klägerin keine Ansprüche geltend.
Das Handelsgericht hiess die Klage am 7. Juni 2001 im Umfang von Fr. 91'161. 10 nebst Zins zu 5 % seit 23. Mai 1998 gut und wies die Mehrforderung ab.
C.- Die Beklagte ficht das Urteil des Handelsgerichts sowohl mit staatsrechtlicher Beschwerde als auch mit Berufung an. Sie beantragt die Aufhebung des angefochtenen Urteils und mit der Berufung zudem die Abweisung der Klage bzw. eventualiter die Rückweisung der Sache an die Vorinstanz.
Die Klägerin schliesst auf Abweisung der gegnerischen Rechtsmittel, soweit darauf einzutreten sei. Das Handelsgericht verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1.- Nach Art. 57 Abs. 5 OG wird in der Regel die Entscheidung über die Berufung bis zur Erledigung der staatsrechtlichen Beschwerde ausgesetzt. Eine Ausnahme von dieser Regel rechtfertigt sich indes, wenn die Berufung unabhängig vom Ausgang des Verfahrens der staatsrechtlichen Beschwerde aufgrund des beanstandeten Sachverhalts gutgeheissen werden kann (<ref-ruling> E. b; <ref-ruling> E. 1b S. 240 mit Hinweisen).
Dies ist vorliegend der Fall, weshalb die Berufung vorweg zu behandeln ist.
2.- Das Handelsgericht ging davon aus, die Parteien hätten bezüglich des von der Beklagten gelieferten Verputzmaterials einen Kaufvertrag geschlossen. Entgegen der Annahme der Klägerin könne keine Rede davon sein, dass die SIA-Norm 118 oder auch nur deren gewährleistungsrechtlicher Teil Bestandteil der von den Parteien vereinbarten "Systemgarantie" geworden sei. Die Gewährleistung für das von der Beklagten gelieferte Material richte sich daher nach den kaufrechtlichen Bestimmungen von <ref-law>. Selbst wenn die Beklagte anlässlich der Besprechung vom 19. März 1997 eine Schuldanerkennung abgegeben hätte, seien die kaufvertraglichen Gewährleistungsansprüche, namentlich das geltend gemachte Wandelungsrecht, im Zeitpunkt der Klage vom 18. November 1999 gemäss <ref-law> verjährt gewesen. Da die Beklagte die Einrede der Verjährung erhoben habe, sei die Wandelungsklage abzuweisen. Insoweit wird das Urteil des Handelsgerichts nicht angefochten.
3.- Das Handelsgericht ging davon aus, bezüglich der Formulierung, die Firma Haga bestätige, dass der beschriebene Wandaufbau den Anforderungen für die Systemgarantie entspricht und garantiere für die Konstruktion gemäss Norm SIA 243, verputzte Aussenwärmedämmung, sei ein übereinstimmender Parteiwille weder behauptet noch bewiesen. Der Sinn dieser Formulierung sei daher nach vertrauenstheoretischen Gesichtspunkten zu ermitteln. Auszugehen sei dabei von der Sach- und Interessenlage, welche zur Aufnahme dieser von Architekt C._ formulierten Garantieklausel in die "Systemgarantie" geführt habe. Die Klägerin sei nicht bereit gewesen, den Aussenverputz ohne Zementanwurf als Haftbrücke zwischen Mauerwert und Dämmputz auszuführen. Architekt C._ habe deshalb von der Beklagten eine Garantie für die Ausführungsart ohne Zementanwurf verlangt. Es ergebe sich somit, dass Architekt C._ bei der Redaktion der Garantieklausel zwar nur den Aussenverputz im Auge gehabt habe. Der erste Teil des Wortlauts dieser Klausel erfasse jedoch sowohl den Innen- wie den Aussenputz, da die der Garantieklausel vorangestellte, detaillierte Beschreibung des "Wandaufbaus" die ganze Gebäudehülle mit sämtlichen Materialschichten umfasse. Im Abschnitt "Spezielles" seien überdies die sowohl bei den inneren als auch bei den äusseren Verputzarbeiten zu beachtenden Ausführungsanweisungen einzeln aufgeführt. All dies könne im Gesamtzusammenhang nur dahin verstanden werden, dass die Systemgarantie den Wandaufbau als Ganzes, somit die Konstruktion der Gebäudehülle insgesamt umfasse.
Den Zusatz, wonach die Beklagte für die Konstruktion gemäss Norm SIA 243 verputzte Aussenwärmedämmung garantiere, habe Architekt C._ nur wegen des Aussenputzes beigefügt. Es sollte damit zum Ausdruck gebracht werden, dass der Aussenputz als Wärmedämmschicht die entsprechenden Anforderungen der SIA-Norm 243 erfüllen müsse. Architekt C._ habe dabei allerdings übersehen, dass diese Norm nur Anweisungen für die Planung und Ausführung von aussenliegenden Wärmedämmungen mit verputzten Wärmedämmplatten, hingegen keinerlei Wärmedämmwerte enthalte. Der objektive Sinn dieser Klausel sei daher so zu verstehen, dass damit, falls die Beschwerdegegnerin die in der Systemgarantie enthaltenen Ausführungsanweisungen einhalte, eine Konstruktion der Gebäudehülle unter Einschluss des Innenverputzes garantiert worden sei, die in ihrer Qualität und Beschaffenheit den einschlägigen Regeln der Technik entspreche. Zur Sollbeschaffenheit des Verputzsystems gehöre zweifellos auch dessen Mängelfreiheit hinsichtlich der Haftung der verschiedenen miteinander verbundenen Materialschichten. So seien gerade die von der Beschwerdegegnerin geäusserten Bedenken bezüglich des fehlenden Zementanwurfes Ursprung und Anlass für den Abschluss des Garantievertrages überhaupt gewesen.
Alsdann kam das Handelsgericht zum Ergebnis, die von der Beklagten abgegebene Systemgarantie sei als selbständige Garantie zu verstehen, welche nicht auf die Sollbeschaffenheit der verkauften Verputzmaterialien beschränkt gewesen sei, sondern darüber hinaus die Gebäudehülle mit dazugehörigem Innen- und Aussenverputz als Ganzes zum Gegenstand gehabt habe. Gleich wie bei einer unselbständigen Garantie habe diese Haftungserklärung aber nur unter der Voraussetzung gelten sollen, dass die Klägerin bei der Arbeitsausführung die in der Systemgarantie aufgeführten Ausführungsanweisungen beachtet.
Die Beklagte rügt, diese Auslegung der Systemgarantie verstosse gegen das Vertrauensprinzip. Das Handelsgericht habe zu Unrecht eine selbständige Garantie angenommen.
a) Kann bezüglich einer Vereinbarung kein tatsächlicher übereinstimmender Wille der Parteien festgestellt werden, so sind ihre Erklärungen nach dem Vertrauensprinzip so auszulegen, wie sie nach ihrem Wortlaut sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 2b; <ref-ruling> E. 4b/aa). Wie die Auslegung nach dem Vertrauensprinzip vorzunehmen ist, stellt eine Rechtsfrage dar, welche das Bundesgericht im Berufungsverfahren überprüfen kann, wobei es an die Feststellungen der Vorinstanz über die äusseren Umstände, unter denen die Erklärungen abgegeben wurden, gebunden ist (<ref-ruling> E. 3a S. 168).
Bei der Auslegung einer Garantie des Verkäufers für die Kaufsache ist zu beachten, dass sie verschiedene Bedeutungen haben kann. Sie kann insbesondere eine Zusicherung im Sinne von <ref-law> darstellen, bei der bestimmte tatsächliche oder rechtliche Eigenschaften der Kaufsache garantiert werden. Diese müssen grundsätzlich im Zeitpunkt des Gefahrenübergangs vorhanden sein (<ref-ruling> E. 4 und E. 5c). Werden diese Eigenschaften auf Zeit zugesichert, so wird von "Haltbarkeits- oder Zuverlässigkeitsgarantien" gesprochen (vgl. Gauch, Werkvertrag, 4. Aufl. S. 387 Rz.
1386 ff.). Solche auf die Zukunft gerichteten Zusicherungen werden als unselbständige Garantien bezeichnet, wenn sie von den Eigenschaften der Sache abhängen. Demgegenüber liegt ein selbständiger Garantievertrag vor, wenn der Verkäufer einen künftigen Erfolg verspricht, welcher über die vertragsgemässe Beschaffenheit der Kaufsache hinausgeht, weil er wesentlich noch von anderen künftigen Faktoren abhängt, welche - wie z.B. die Konjunkturentwicklung - von den Sacheigenschaften unabhängig sind und ausserhalb der Einflussmöglichkeiten des Verkäufers liegen (<ref-ruling> E. 4 und E. 5c; vgl. ferner Giger, Berner Kommentar, N. 20 zu <ref-law>; Gauch, a.a.O., S. 389 Rz. 1395; Honsell, Basler Kommentar, 2.
Aufl. , N. 17 zu <ref-law>).
Mit einer sogenannten "Systemgarantie" wird zugesichert, dass bestimmte Teile einer Kaufsache bzw. des Werkes, die ein zusammenhängendes Ganzes - z.B. eine Aussenverkleidung - bilden, in sich oder mit anderen Elementen einwandfrei zusammen passen oder technisch und funktional funktionieren (Gauch, a.a.O., S. 386 Rz. 1385). Ob eine solche Garantie als selbständig oder unselbständig zu qualifizieren ist, hängt nach dem Gesagten davon ab, ob das zugesicherte Zusammenpassen von den Eigenschaften der Sache im Zeitpunkt des Gefahrenübergangs oder wesentlich von davon unabhängigen künftigen Faktoren abhängt.
Im Gegensatz zu unselbständigen Garantieerklärungen, welche der kaufvertraglichen einjährigen Verjährungsfrist gemäss <ref-law> unterstehen, verjähren Ansprüche aus selbständigen Garantieverträgen nach der allgemeinen vertraglichen Verjährungsfrist von zehn Jahren (<ref-ruling> E. 5c S. 431; vgl. auch Honsell, a.a.O., N. 3 zu <ref-law>, mit Hinweisen).
b) Im vorliegenden Fall hat die Beklagte mit der Systemgarantie zugesichert, dass der gelieferte Verputz bei Beachtung der Verarbeitungsangaben für den beschriebenen Wandaufbau geeignet sei und die Aussenwärmedämmung gemäss der Norm SIA 243 erreicht werde. Selbst wenn damit gemäss der Annahme der Vorinstanz garantiert wird, mit dem gelieferten Material könne gemäss dem angegebenen Wandaufbau bei Befolgung der Verarbeitungsangaben ein den "einschlägigen Regeln der Technik" entsprechender Aussen- und Innenputz erstellt werden, hängt dieser Erfolg von den Eigenschaften des gelieferten Verputzmaterials im Zeitpunkt des Gefahrenübergangs ab. Dass vom Material unabhängige künftige Faktoren eine Rolle spielen könnten, wird von der Vorinstanz nicht dargetan und ist auch nicht ersichtlich. Damit ist die Systemgarantie entgegen der Annahme des Handelsgerichts als eine unselbständige Garantie bezüglich der von den Sacheigenschaften des Verputzmaterials abhängenden Verabeitungsmöglichkeiten zu qualifizieren. Die daraus abgeleiteten Schadenersatzansprüche unterstehen daher der einjährigen Verjährung gemäss <ref-law>. Eine Verlängerung dieser Frist wurde nicht vereinbart und kann auch nicht alleine auf Grund der Zusicherung einer dauerhaften Eigenschaft angenommen werden (<ref-ruling> E. 2b, 101). Da die einjährige Verjährung gemäss den Feststellungen des Handelsgerichts bereits eingetreten ist und die Beklagte die Verjährungseinrede erhoben hat, sind die gestützt auf die Systemgarantie erhobenen Schadenersatzforderungen der Klägerin abzuweisen.
Demnach ist die Berufung gutzuheissen, ohne dass die weiteren damit vorgebrachten Rügen geprüft werden müssten. So kann insbesondere offen bleiben, ob sich die Systemgarantie nur auf den Aussenverputz bezog, wie dies die Beklagte geltend macht.
4.- Nach dem Gesagten ist das angefochtene Urteil aufzuheben und die Klage abzuweisen. Bei diesem Ausgang des Verfahrens wird die Klägerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG). Zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens wird die Sache an das Handelsgericht zurückgewiesen (Art. 159 Abs. 6 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird gutzuheissen, das Urteil des Handelsgerichts des Kantons Aargau vom 7. Juni 2001 wird aufgehoben und die Klage abgewiesen.
2.- Die Gerichtsgebühr von Fr. 5'000.-- wird der Klägerin auferlegt.
3.- Die Klägerin hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.- Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
5.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Aargau schriftlich mitgeteilt.
_
Lausanne, 4. Januar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: