Werkvertrag, hat sich ergeben:
A.- Die X._ AG (nachstehend: Klägerin) stellt Spezialmaschinen zur Automation und Rationalisierung her.
A._ (nachstehend: Beklagter) fabriziert diamantbesetzte Bohrer für die Zahnmedizin. Dabei bringt er insbesondere auf folgenden Typen von Schaftrohrlingen einen galvanisch diamantisierten Schleifbelag auf:
- FG-Diamonds, Durchmesser 1,6 mm, Länge 16 - 24 mm
- RA-Diamonds, Durchmesser 2,35 mm, Länge 22 - 26 mm
- HP-Diamonds, Durchmesser 2,35 mm, Länge 44,5 - 50 mm.
Anfangs Mai 1995 ersuchte der Beklagte die Klägerin, ihm eine Offerte für die Entwicklung und Herstellung einer automatischen Anlage zur Aufbringung des Diamanten-Schleifbelages zu unterbreiten.
Die Klägerin offerierte am 5. Mai 1995 eine "Mikro-Schweissanlage für Kontaktierung Projekt: Teilproduktion Diamantwerkzeuge FG-Diamonds" zum Richtpreis (+ max. 10%) von Fr. 128'400.--. Als zusätzliche Ausbaumöglichkeit wurde in der Offerte eine automatische Sortier- und Zuführvorrichtung für Schaftrohrlinge zu einem Richtpreis von Fr. 65'000.-- genannt.
Mitte Mai 1995 bestellte der Beklagte die Anlage.
Am 31. Mai 1995 bestätigte die Klägerin den Auftrag "Teilproduktion Diamantwerkzeuge FG-Diamonds" und gab an, die Sortierversuche seien bis Mitte Juni beendet. Zudem stellte die Klägerin 40 % der Auftragssumme von Fr. 128'400.-- in Rechnung. Die verlangte Anzahlung von Fr. 54'698. 40 wurde vom Beklagten am 16. Juni 1995 überwiesen.
Nach mehreren Konstruktions- und Detaillierungsphasen mit anschliessenden Fertigungs-, Montage- und Versuchstätigkeiten hat die Klägerin eine um eine Sortier- und Zuführvorrichtung und um eine Zusatzausrüstung für die Beschichtung von RA- und HP-Schaft-Typen erweiterte Anlage erstellt und diese am 2. September 1996 an den Beklagten ausgeliefert.
Am 10. September 1996 stellte die Klägerin unter Vorbehalt der Endabrechnung für die Grundausrüstung der gelieferten Anlage eine Teilrechnung über Fr. 106'500.--.
Diese wurde vom Beklagten am 13. September 1996 bezahlt.
Gemäss der Endabrechnung der Klägerin vom 31. Oktober 1996 betrug der Werklohn für den Grundauftrag inklusive Zusatzaufträge Fr. 295'577. 95, was abzüglich der bereits geleisteten Anzahlungen einen noch offenen Restbetrag von Fr. 134'379. 55 ergab. Zur Begründung führte die Klägerin an, die Mehrkosten gegenüber der Offertenstellung seien aus der nachträglich vereinbarten Erweiterung der Anlagen für die Tauglichkeit zur Herstellung der RA- und HP-Schaft-Typen entstanden. Am 12. September 1996 teilte der Beklagte der Klägerin mit, dass er mit der Kostenaufstellung nicht einverstanden sei. Er stellte sich auf den Standpunkt, Gegenstand der Verhandlungen zwischen den Parteien sei immer eine Anlage für alle drei Schaft-Typen gewesen. Auch wenn in der ersten Offerte lediglich "FG-Diamonds" erwähnt seien, habe ihm die Klägerin im Rahmen der Offertenstellung die Tauglichkeit für die drei Schaft-Typen zugesichert, weshalb die Klägerin dafür keine Mehrkosten verlangen könne.
Am 5. März 1997 hat ein Angestellter der Klägerin beim Beklagten die Programmierung der Anlage überprüft. Am 26. März 1997 stellte die Anlage automatisch ab. Nachdem der Beklagte nicht in der Lage war, die Anlage wieder in Gang zu setzen, hat er damit am 1. April 1997, ohne die Klägerin zu benachrichtigen, den Spezialisten B._ beauftragt.
Dieser hat die Computersteuerung vorübergehend ausgebaut, den Sicherheitscode entschlüsselt und die Software ausgedruckt.
Dabei hat er herausgefunden, dass gemäss der zweiten Programmversion eine Sperre einprogrammiert worden war, welche die Anlage nach 100 Arbeitsstunden zum Stillstand brachte.
B._ hat daraufhin dem Beklagten erklärt, wie er die Sperre ohne Kenntnis des Codes ausschalten konnte. Der Beklagte hat daraufhin am 9. April 1997 die Anlage wieder in Betrieb gesetzt und danach die Klägerin über den Stillstand informiert.
B.- Mit Klage vom 25. November 1997 belangte die Klägerin den Beklagten beim Handelsgericht des Kantons St. Gallen auf Zahlung von Fr. 109'695. 55 nebst Verzugszins. Widerklageweise verlangte der Beklagte von der Klägerin Fr. 30'000.-- nebst Verzugszins. Zur Begründung führte er an, er habe diese Summe für die Behebung des von der Klägerin nachträglich einprogrammierten Anlagestopps aufwenden müssen.
Mit Urteil vom 29. November 2000 wies das Handelsgericht die Widerklage ab und und verpflichtete den Beklagten in teilweiser Gutheissung der Klage, der Klägerin Fr. 77'575. 40 nebst 6 % Zins auf Fr. 72'897. 40 seit 31. Januar 1997 und auf Fr. 4'678.-- seit 23. April 1997 zu bezahlen.
C.- Der Beklagte hat das Urteil des Handelsgerichts sowohl mit eidgenössischer Berufung als auch mit kantonaler Nichtigkeitsbeschwerde angefochten. Letztere hat das Kassationsgericht des Kantons St. Gallen mit Urteil vom 28. August 2001 abgewiesen.
Mit der Berufung beantragt der Beklagte, das angefochtene Urteil sei aufzuheben, die Klage sei abzuweisen und die Widerklage sei zu schützen; eventuell seien Klage und Widerklage zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Klägerin schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei.
Das Bundesgericht zieht in Erwägung:
1.- a) Gemäss Art. 55 Abs. 1 lit. c OG muss in der Berufungsschrift dargelegt werden, welche Bundesrechtssätze und inwiefern sie durch den angefochtenen Entscheid verletzt worden sind. Die Gesetzesartikel brauchen dazu nicht ausdrücklich genannt zu werden, falls aus den Vorbringen hervorgeht, gegen welche Regeln des Bundesprivatrechts die Vorinstanz verstossen haben soll (BGE 93 II 321/2 E. 2c mit Hinweis). Unerlässlich ist aber, dass die Berufung auf die Begründung des angefochtenen Urteils eingeht und im Einzelnen zeigt, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sind. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen der Vorinstanz vorgebracht werden, genügen diesen Anforderungen nicht (BGE 116 II 745 E. 3 S. 748 f.). Unbeachtlich sind ebenfalls blosse Verweise auf die Akten. Inwiefern das angefochtene Urteil Bundesrecht verletzt, ist in der Berufungsschrift selber darzulegen (BGE 115 II 85 E. 3; 110 II 78 E. 1, mit Hinweisen).
b) Im Berufungsverfahren kann die Verletzung verfassungsmässiger Rechte nicht geltend gemacht werden (Art. 43 Abs. 1 OG). Unzulässig sind auch Rügen, die sich gegen die Anwendung kantonalen Rechtes und die tatsächlichen Feststellungen der Vorinstanz richten, es sei denn, es werde ihr ein offensichtliches Versehen, eine Verletzung bundesrechtlicher Beweisvorschriften oder eine unvollständige Ermittlung des Sachverhalts vorgeworfen (Art. 55 Abs. 1 lit. c, 63 Abs. 2 und 64 OG; BGE 126 III 59 E. 2a). Wer sich auf diese Ausnahmen von der Bindung des Bundesgerichts an die tatsächlichen Feststellungen der letzten kantonalen Instanz beruft und den Sachverhalt berichtigt oder ergänzt wissen will, hat darüber genaue Angaben zu machen (Art. 55 Abs. 1 lit. d OG; BGE 115 II 484 E. 2a S. 485 f.). Eine Ergänzung setzt zudem voraus, dass entsprechende Sachbehauptungen bereits im kantonalen Verfahren prozesskonform aufgestellt, von der Vorinstanz aber zu Unrecht für unerheblich gehalten oder übersehen worden sind, was wiederum näher anzugeben ist. Andernfalls gelten die Vorbringen als neu und sind damit unzulässig (BGE 119 II 353 E. 5c/aa S. 357; 115 II 484 E. 2a S. 485 f.).
c) Auf die Berufung ist insoweit nicht einzutreten, als der Beklagte der Vorinstanz willkürliche Beweiswürdigung vorwirft, ohne zugleich eine Rüge im Sinne der genannten Ausnahmen zu erheben. Das gilt unter anderem für die Behauptung, das eingeholte Gutachten weise insbesondere bezüglich der Widerklage derart viele Unzulänglichkeiten und Fehler auf, dass die von der Vorinstanz gestützt darauf erfolgten tatbeständlichen Feststellungen grösstenteils willkürlich seien.
2.- Der Beklagte wirft der Vorinstanz eine Verletzung von Art. 8 ZGB vor.
a) Art. 8 ZGB regelt nach der Rechtsprechung einerseits die Beweislastverteilung und gibt andererseits der beweisbelasteten Partei einen bundesrechtlichen Anspruch darauf, zum Beweis zugelassen zu werden, sofern ihr Beweisantrag rechtserhebliche Tatsachen betrifft und nach Form und Inhalt den Vorschriften des kantonalen Rechts entspricht.
Art. 8 ZGB schreibt dem Richter hingegen nicht vor, mit welchen Mitteln er den Sachverhalt abzuklären und wie er das Ergebnis seiner Abklärungen zu würdigen habe. Die Beweislastverteilung wird daher gegenstandslos, soweit das Gericht in Würdigung von Beweisen zur Überzeugung gelangt, eine Tatsachenbehauptung sei bewiesen oder widerlegt (BGE 114 II 289 E. 2a S. 291; 109 II 245 E. 5 S. 251 mit Hinweisen). Art. 8 ZGB verbietet dem Gericht auch nicht, angebotene Beweise vorweg zu würdigen und gestützt darauf auf ihre Abnahme zu verzichten (BGE 114 II 289 E. 2a S. 291; 115 II 440 E. 6b S. 450). Auf diese Weise ist das Handelsgericht vorgegangen, als es die Einholung eines Obergutachtens bzw. eines neuen Gutachtens ablehnte. Damit wurde entgegen der Ansicht des Beklagten Art. 8 ZGB nicht verletzt. Auf die in diesem Zusammenhang vorgebrachte Rüge der willkürlichen (antizipierten) Beweiswürdigung und der Verletzung von Art. 115 Abs. 3 ZPO ist nicht einzutreten, weil sie die Anwendung kantonalen Rechts betrifft (vgl. E. 1b hievor).
b) Weiter rügt der Beklagte sinngemäss, das Handelsgericht habe die Beweislast umgekehrt, indem es von ihm verlangt habe, die spätere Vereinbarung der Erweiterung der Anlage zu widerlegen. Der Beklagte lässt dabei ausser Acht, dass die Vorinstanz insbesondere auf Grund des eingeholten Gutachtens die spätere Erweiterung der Anlage und damit die nachträgliche Bestellungsänderung als nachgewiesen erachtete und annahm, diesen Beweis habe der Beklagte nicht umstossen können. Damit ist die Vorinstanz davon ausgegangen, dem Beklagten sei der Gegenbeweis misslungen, was keine Umkehr der Beweislast bedeutet.
c) Den Vorwurf der Beweislastumkehr erhebt der Beklagte auch bezüglich des Nachweises der Lieferung der Bedienungsanleitung.
Die Rüge ist unbegründet, da die Vorinstanz auch in dieser Hinsicht davon ausgegangen ist, die Klägerin habe den Beweis erbracht.
d) Alsdann macht der Beklagte geltend, die Vorinstanz habe seinen Anspruch auf Beweisabnahme gemäss Art. 8 ZGB dadurch verletzt, dass sie seine Eingabe vom 14. Januar 2000 gemäss Art. 164 ZPO teilweise aus dem Recht gewiesen habe. Entgegen der Annahme der Vorinstanz habe diese Eingabe keine neuen tatsächlichen Behauptungen beinhaltet. Auf diese Rüge ist nicht einzutreten, weil sie die Anwendung kantonalen Prozessrechts betrifft (vgl. E. 1b hievor).
e) Weiter rügt der Beklagte, die Vorinstanz habe Art. 8 ZGB verletzt, indem sie zu zahlreichen Tatbestandsfragen die Einvernahme von Frau C._, eine Parteibefragung und Ergänzungsfragen des Beklagten abgelehnt habe.
Zudem habe die Vorinstanz ihn hinsichtlich klägerischer Parteiakten nicht zum Gegenbeweis zugelassen und zu Unrecht die Beweisanträge gemäss Klageschrift Seite 9 verweigert. Auf diese Rügen ist mangels Erfüllung der Begründungsanforderungen nicht einzutreten, da der Beklagte in der Berufungsschrift nicht angibt, zu welchen Tatsachen, mit welchem Beweismittel ein Beweisverfahren hätte durchgeführt werden sollen, und insoweit ein blosser Verweis auf die früheren Eingaben nicht genügt.
f) Der Beklagte macht geltend, die Vorinstanz habe seinen Gehörs- und Beweisführungsanspruch verletzt, indem sie dem Experten von der Klägerin eingereichte Akten zur Verfügung gestellt habe, in die der Beklagte nicht habe Einsicht nehmen können. Auf diese Rüge ist nicht einzutreten, weil sie nicht den aus Art. 8 ZGB abgeleiteten Beweisführungsanspruch, sondern den darüber hinausgehenden verfassungsmässigen Anspruch auf rechtliches Gehör betrifft, dessen Verletzung im Berufungsverfahren nicht gerügt werden kann (vgl. E. 1b hievor).
3.- a) Die Vorinstanz führte dem Sinne nach aus, die Parteien hätten sich erst nach der Auftragsbestätigung vom 31. Mai 1995 über eine Vertragserweiterung geeinigt. Diese habe einerseits eine Sortier- und Zuführvorrichtung, für welche in der Offerte ein Richtpreis von Fr. 65'000.-- vorgesehen war, und andererseits den Ausbau für RA- und HP-Schaft-Typen umfasst. Bezüglich der durch diesen Ausbau bedingten Mehrkosten hätten die Parteien keine Einigung gefunden, weshalb der entsprechende Werklohn gemäss Art. 374 OR nach Massgabe des Wertes der Arbeit und der Aufwendungen des Unternehmers festgesetzt werden müsse. Alsdann prüfte die Vorinstanz, welche von der Klägerin geltend gemachten Aufwendungen durch den Ausbau der Anlage bedingt waren und kam zum Ergebnis, dass insoweit ein Mehraufwand von Fr. 68'448. 30 (exklusive Mehrwertsteuer) ausgewiesen sei.
b) Der Beklagte macht geltend, die Klägerin habe anstatt vom Werkvertrag auszugehen und allfällige Mehrleistungen auszuweisen rein nach Aufwand abgerechnet. Dieser Vorwurf ist jedenfalls bezüglich der Abrechnung der Vorinstanz unbegründet, da diese gemäss der vom Beklagten verlangten Methode vorging.
c) Weiter rügt der Beklagte sinngemäss, die Vorinstanz habe übersehen, dass die Klägerin ihn zu keinem Zeitpunkt auf allfällige gegenüber ihrer Offerte anfallende Mehrkosten aufmerksam gemacht und damit ihre Anzeigepflicht verletzt habe, da ein Unternehmer den Besteller auf übermässige Kostenüberschreitungen ohne schuldhaftes Verzögern hinzuweisen habe. Der Beklagte lässt dabei ausser Acht, dass im vorliegenden Fall nicht die Kostenüberschreitung bezüglich eines Kostenvoranschlages, sondern die Mehrkosten für eine Vertragserweiterung zur Diskussion stehen. Insoweit trifft jedoch den Unternehmer keine Anzeigepflicht, weil der Anspruch auf Mehrvergütung für eine Vertragserweiterung weder eine besondere Abrede noch eine Ankündigung der Mehrforderung durch den Unternehmer voraussetzt (Rainer Schumacher, Die Vergütung im Bauwerkvertrag: Grundvergütung - Mehrvergütung, S. 180 f. Rz. 567). Entgegen der Auffassung des Beklagten fällt somit eine Verletzung der Anzeigepflicht ausser Betracht.
4.- Die Parteien vereinbarten gemäss der Auftragsbestätigung vom 31. Mai 1995 für Vertragsänderungen einen Formvorbehalt.
Die Vorinstanz hat im angefochtenen Urteil dargelegt, unter welchen Voraussetzungen ein solcher Formvorbehalt aufgehoben werden kann, und hat eine Aufhebung mit Bezug auf die Vertragserweiterung bejaht. Der Beklagte setzt sich mit diesen Erwägungen nicht auseinander und legt nicht rechtsgenüglich dar, inwiefern diesbezüglich eine Verletzung von Bundesrecht vorliegen soll. Insoweit ist daher auf die Berufung nicht einzutreten.
5.- Die Vorinstanz führte dem Sinne nach aus, es würden erhebliche Indizien dafür sprechen, dass die Klägerin nachträglich einen Anlagestopp einprogrammiert habe. Ob ihr damit ein widerrechtliches Verhalten vorzuwerfen sei, könne offen bleiben, da die darauf gestützte Widerklage ohnehin abzuweisen sei. So habe der Beklagte es unter Missachtung der Kauf- und Lieferbedingungen unterlassen, die Klägerin um die Behebung des Maschinenstillstandes zu ersuchen. Indem er ohne Berechtigung zur Selbsthilfe geschritten sei, sei ihm ein grobes Selbstverschulden vorzuwerfen, das den adäquaten Kausalzusammenhang unterbreche und das Recht auf eine Entschädigung für den Beizug eines Dritten ausschliesse. Dasselbe gelte auch für den Mangelfolgeschaden. Im Übrigen sei die Widerklage auch mangels Substanziierung des Schadens abzuweisen.
b) Der Beklagte geht auf die subsidiäre Begründung der Vorinstanz bezüglich der ungenügenden Substanziierung nicht ein. Vielmehr bringt er alleine Rügen gegen die Hauptbegründung vor. Darauf ist mangels Rechtsschutzinteresses nicht einzutreten (BGE 111 II 399 E. 2).
6.- Nach dem Gesagten ist die Berufung abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beklagte kosten- und entschädigungspflichtig (Art. 156 Abs. 1 und 159 Abs. 2 OG).
Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf eingetreten werden kann, und das Urteil des Handelsgerichts des Kantons St. Gallen vom 29. November 2000 wird bestätigt.
2.- Die Gerichtsgebühr von Fr. 5'000.-- wird dem Beklagten auferlegt.
3.- Der Beklagte hat die Klägerin für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
_
Lausanne, 4. März 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: