Werkvertrag, hat sich ergeben: A.- Die X._ AG (nachstehend: Klägerin) stellt Spezialmaschinen zur Automation und Rationalisierung her. A._ (nachstehend: Beklagter) fabriziert diamantbesetzte Bohrer für die Zahnmedizin. Dabei bringt er insbesondere auf folgenden Typen von Schaftrohrlingen einen galvanisch diamantisierten Schleifbelag auf: - FG-Diamonds, Durchmesser 1,6 mm, Länge 16 - 24 mm - RA-Diamonds, Durchmesser 2,35 mm, Länge 22 - 26 mm - HP-Diamonds, Durchmesser 2,35 mm, Länge 44,5 - 50 mm. Anfangs Mai 1995 ersuchte der Beklagte die Klägerin, ihm eine Offerte für die Entwicklung und Herstellung einer automatischen Anlage zur Aufbringung des Diamanten-Schleifbelages zu unterbreiten. Die Klägerin offerierte am 5. Mai 1995 eine "Mikro-Schweissanlage für Kontaktierung Projekt: Teilproduktion Diamantwerkzeuge FG-Diamonds" zum Richtpreis (+ max. 10%) von Fr. 128'400.--. Als zusätzliche Ausbaumöglichkeit wurde in der Offerte eine automatische Sortier- und Zuführvorrichtung für Schaftrohrlinge zu einem Richtpreis von Fr. 65'000.-- genannt. Mitte Mai 1995 bestellte der Beklagte die Anlage. Am 31. Mai 1995 bestätigte die Klägerin den Auftrag "Teilproduktion Diamantwerkzeuge FG-Diamonds" und gab an, die Sortierversuche seien bis Mitte Juni beendet. Zudem stellte die Klägerin 40 % der Auftragssumme von Fr. 128'400.-- in Rechnung. Die verlangte Anzahlung von Fr. 54'698. 40 wurde vom Beklagten am 16. Juni 1995 überwiesen. Nach mehreren Konstruktions- und Detaillierungsphasen mit anschliessenden Fertigungs-, Montage- und Versuchstätigkeiten hat die Klägerin eine um eine Sortier- und Zuführvorrichtung und um eine Zusatzausrüstung für die Beschichtung von RA- und HP-Schaft-Typen erweiterte Anlage erstellt und diese am 2. September 1996 an den Beklagten ausgeliefert. Am 10. September 1996 stellte die Klägerin unter Vorbehalt der Endabrechnung für die Grundausrüstung der gelieferten Anlage eine Teilrechnung über Fr. 106'500.--. Diese wurde vom Beklagten am 13. September 1996 bezahlt. Gemäss der Endabrechnung der Klägerin vom 31. Oktober 1996 betrug der Werklohn für den Grundauftrag inklusive Zusatzaufträge Fr. 295'577. 95, was abzüglich der bereits geleisteten Anzahlungen einen noch offenen Restbetrag von Fr. 134'379. 55 ergab. Zur Begründung führte die Klägerin an, die Mehrkosten gegenüber der Offertenstellung seien aus der nachträglich vereinbarten Erweiterung der Anlagen für die Tauglichkeit zur Herstellung der RA- und HP-Schaft-Typen entstanden. Am 12. September 1996 teilte der Beklagte der Klägerin mit, dass er mit der Kostenaufstellung nicht einverstanden sei. Er stellte sich auf den Standpunkt, Gegenstand der Verhandlungen zwischen den Parteien sei immer eine Anlage für alle drei Schaft-Typen gewesen. Auch wenn in der ersten Offerte lediglich "FG-Diamonds" erwähnt seien, habe ihm die Klägerin im Rahmen der Offertenstellung die Tauglichkeit für die drei Schaft-Typen zugesichert, weshalb die Klägerin dafür keine Mehrkosten verlangen könne. Am 5. März 1997 hat ein Angestellter der Klägerin beim Beklagten die Programmierung der Anlage überprüft. Am 26. März 1997 stellte die Anlage automatisch ab. Nachdem der Beklagte nicht in der Lage war, die Anlage wieder in Gang zu setzen, hat er damit am 1. April 1997, ohne die Klägerin zu benachrichtigen, den Spezialisten B._ beauftragt. Dieser hat die Computersteuerung vorübergehend ausgebaut, den Sicherheitscode entschlüsselt und die Software ausgedruckt. Dabei hat er herausgefunden, dass gemäss der zweiten Programmversion eine Sperre einprogrammiert worden war, welche die Anlage nach 100 Arbeitsstunden zum Stillstand brachte. B._ hat daraufhin dem Beklagten erklärt, wie er die Sperre ohne Kenntnis des Codes ausschalten konnte. Der Beklagte hat daraufhin am 9. April 1997 die Anlage wieder in Betrieb gesetzt und danach die Klägerin über den Stillstand informiert. B.- Mit Klage vom 25. November 1997 belangte die Klägerin den Beklagten beim Handelsgericht des Kantons St. Gallen auf Zahlung von Fr. 109'695. 55 nebst Verzugszins. Widerklageweise verlangte der Beklagte von der Klägerin Fr. 30'000.-- nebst Verzugszins. Zur Begründung führte er an, er habe diese Summe für die Behebung des von der Klägerin nachträglich einprogrammierten Anlagestopps aufwenden müssen. Mit Urteil vom 29. November 2000 wies das Handelsgericht die Widerklage ab und und verpflichtete den Beklagten in teilweiser Gutheissung der Klage, der Klägerin Fr. 77'575. 40 nebst 6 % Zins auf Fr. 72'897. 40 seit 31. Januar 1997 und auf Fr. 4'678.-- seit 23. April 1997 zu bezahlen. C.- Der Beklagte hat das Urteil des Handelsgerichts sowohl mit eidgenössischer Berufung als auch mit kantonaler Nichtigkeitsbeschwerde angefochten. Letztere hat das Kassationsgericht des Kantons St. Gallen mit Urteil vom 28. August 2001 abgewiesen. Mit der Berufung beantragt der Beklagte, das angefochtene Urteil sei aufzuheben, die Klage sei abzuweisen und die Widerklage sei zu schützen; eventuell seien Klage und Widerklage zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Klägerin schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei.