UWG; Know-how-Vertrag; Aufhebungsvereinbarung, hat sich ergeben:
A.- Die HB Maschinen & Werkzeug AG (nachstehend: HB) war in Zusammenarbeit mit deutschen Partnerfirmen an der Entwicklung diverser Typen von Kantenanleimmaschinen beteiligt.
Im November 1992 schloss sie mit der Wilhelm Altendorf GmbH & Co. KG einen Vorvertrag zu einem "Know-how-Vertrag über die Herstellung von Kantenanleimmaschinen". In der Folge verzichtete die Wilhelm Altendorf GmbH & Co. KG auf die im Vorvertrag vereinbarte Rückgabe der Konstruktionsunterlagen und übertrug die Rechte zur Herstellung von Kantenanleimmaschinen des Typs "Altendorf Akzent V31" auf die HB.
Solche Maschinen wurden noch bis ungefähr Mai 1993 hergestellt.
Am 8. Januar 1993 schloss die HB mit Peter Fankhauser, der unter seiner Einzelfirma eine Unternehmung für die Entwicklung und Herstellung von Maschinen betreibt, folgenden Vertrag:
"1.Um den Herstellungspreis einer Kantenanleimmaschine
zu ermitteln, stellt die Firma HB-MASCHINEN UND
WERKZEUGE AG Konstruktionszeichnungen und Unterlagen
der Firma FANKHAUSER PETER zur Verfügung.
2. Firma FANKHAUSER PETER ist berechtigt, Detailzeichnungen
zur Ermittlung des Herstellungspreises an
dritte Hersteller unter der Voraussetzung weiterzugeben,
dass diese Hersteller mit der Firma HB-MASCHINEN
und WERKZEUGE AG vorab abgestimmt werden. Die
Weitergabe der Konstruktionsunterlagen darf nur unter
der Bedingung erfolgen, dass sich Firma FANKHAUSER
PETER und auch die den Herstellungspreis von Bestandteilen
ermittelnde Firma verpflichten, keinerlei Kopien
von den Konstruktionszeichnungen zu fertigen.
Kopien der Konstruktionszeichnungen für die den
Herstellungspreis ermittelnden Gesellschaften stellt
ausschliesslich die Firma HB-MASCHINEN und WERKZEUGE
AG zur Verfügung.
3. Die Konstruktionsunterlagen sind nach Ermittlung der
Herstellungskosten unverzüglich an die Firma HB-MASCHINEN
UND WERKZEUGE zurückzugeben, spätestens jedoch
bis zum 31.3.1993, wenn bis zu diesem Zeitpunkt
kein Vertrag abgeschlossen wurde.
4. Firma FANKHAUSER PETER verpflichtet sich, der Firma
HB-MASCHINEN und WERKZEUGE den Schaden zu ersetzen,
den diese dadurch erleidet, dass Konstruktionsunterlagen
kopiert und/oder dazu benutzt werden, Altendorf
Kantenanleimmaschinen herzustellen oder technisch
vergleichbare Kantenanleimmaschinen herzustellen.
Firma FANKHAUSER PETER ist verpflichtet, entsprechende
Schadenersatzvereinbarungen mit den Gesellschaften
abzuschliessen, denen die Konstruktionszeichnungen
überlassen werden.
5. Firma FANKHAUSER PETER verpflichtet sich, weder mit
Altendorf noch mit anderen Herstellern von Kantenanleimmaschinen
direkt Kontakt aufzunehmen.
6. Die Parteien verpflichten sich im übrigen, die vertraulich
erlangten Informationen geheimzuhalten und
diese nur solchen Mitarbeitern oder Dritten mitzuteilen,
die die Information unbedingt für die Möglichkeit
der Beurteilung des Herstellungspreises benötigen.
Alle übergebenen Dokumente sind zurückzugeben, wenn
sie nicht mehr benötigt oder von der Firma HB-MASCHINEN
und WERKZEUGE AG zurückverlangt werden.
Nebst den Konstruktionszeichnungen und -plänen erhielt Peter Fankhauser auch eine Kantenanleimmaschine "Altendorf Akzent V31" zur Ansicht.
In den Monaten April und Mai 1993 entwickelten Peter Fankhauser und seine Mitarbeiter unter Berücksichtigung von Änderungsvorschlägen der HB den Prototyp einer gegenüber der "Altendorf Akzent V31" verbesserten Kantenanleimmaschine.
Diese wurde von der HB mit "Perfect V32" bzw. "Akzent V32" und von Peter Fankhauser mit "KLM 2000" bezeichnet. Im August 1993 lieferte Peter Fankhauser von dieser Maschine eine Nullserie von 6 Stück an die HB aus.
In Übereinstimmung mit einer Offerte von Peter Fankhauser vom 3. November 1993 bestellte die HB mit Schreiben vom 3. und 6. September 1993 50 Kantenanleimmaschinen "Perfect V32" zu einem Stückpreis von Fr. 5'500.--. Am 8. September 1993 bestätigte Peter Fankhauser diese Bestellung, wobei er unter Spezifikationen angab:
"Neu entwickelt und konstruierte Kantenleimmaschine Typ
KLM 2000 aus dem Hause Fankhauser.
Das Herstellerrecht dieser Maschine obliegt nur der
Firma Fankhauser. .."
Des Weiteren legte er den Entwurf einer Vereinbarung bezüglich einer längerfristigen Zusammenarbeit der Parteien vor. Die Auftragsbestätigung und der Vereinbarungsentwurf wurden von der HB jedoch nicht unterzeichnet. Vielmehr unterbreitete sie Peter Fankhauser am 22. November 1993 einen eigenen Vertragsentwurf, der die HB als "Bestellerin" und Peter Fankhauser als "Unternehmer" bezeichnete und folgende Passage aufwies:
4. Rechte an Planungsunterlagen
Sämtliche Pläne, Stücklisten, d.h. generell sämtliche
technischen Unterlagen der neu- bzw. weiterentwickelten
Maschine stehen ausdrücklich im alleinigen Eigentum der
Bestellerin und dürfen ohne deren ausdrückliche schriftliche
Zustimmung weder Dritten zugänglich gemacht, noch
sonstwie für andere Zwecke verwendet werden, soweit
dieser daraus ein Nachteil entstehen könnte.. "
Nachdem sich die Parteien nicht über eine künftige Zusammenarbeit hatten einigen können, unterzeichneten sie am 10. März 1994 eine Vereinbarung, worin sie insbesondere festhielten:
"2. Grundlagen
- Vertrag vom 8. Januar 1993
- Offerte vom 3. September 1993
- Bestellungen vom 3. und 6. September 1993
- Auftragsbestätigung vom 8. September 1993
- Vertragsentwürfe vom 23. September und 22. November
1993
- Diverse Schreiben/Besprechungen beider Parteien
- Rechnungen/Lieferungen gemäss beiliegender
Zusammenstellung
3. Gegenstand der Vereinbarung
- Beide Parteien treten von den unter Punkt 2 erwähnten
Geschäftsbeziehungen, ohne weitere Gegenforderungen,
zurück.
- Sie verpflichten sich, mit diesem Rücktritt keine
Schadenersatzforderungen oder andere Forderungen zu
stellen und keine weiteren gerichtlichen Massnahmen
bezüglich dieser Beziehungen vorzunehmen.
- Die finanzielle Regelung erfolgt durch Verrechnung
gemäss der beiliegenden Zusammenstellung. Diese ist
Bestandteil dieser Vereinbarung.
- Alle technischen Unterlagen sowie die zur Verfügung
gestellte Mustermaschine sind an HB zurückgegeben
worden.
- Neue geschäftliche Beziehungen auf neuer Basis sind
für die Zukunft nicht ausgeschlossen.
Nach der Unterzeichnung dieser Vereinbarung lieferte Peter Fankhauser in den Monaten April und Mai 1994 über die ihm gehörende Arosys AG noch 33 der 50 von der HB bestellten Kantenanleimmaschinen aus. Während dieser Zeit verhandelte die HB mit der Arosys AG über eine allfällige Fortsetzung der Geschäftsbeziehungen, ohne jedoch eine Einigung finden zu können. Danach gab die HB die Herstellung weiterer Kantenanleimmaschinen bei einer Drittfirma in Auftrag und vertrieb diese unter der Bezeichnung "Akzent (Perfect) V32". Die neue Herstellerfirma belieferte die HB in der Zeit von Oktober 1994 bis Ende April 1996 mit insgesamt 47 Maschinen, von denen die HB gemäss eigenen Angaben 44 weiterverkaufen konnte.
Bis Juli 1997 verkaufte die HB insgesamt 60 Maschinen.
Peter Fankhauser bemühte sich seinerseits, mittels eines Inserats in der Oktober-Ausgabe 1994 der "Schreinerzeitung" und eines Mailings die von ihm hergestellten Kantenanleimmaschinen direkt oder über Wiederverkäufer abzusetzen.
Auf Grund dieser Bemühungen konnte Peter Fankhauser lediglich eine einzige Maschine verkaufen.
Das Inserat in der Oktober-Ausgabe der "Schreinerzeitung" veranlasste die HB am 18. Oktober 1994, beim Gerichtspräsidenten von Konolfingen zu verlangen, Peter Fankhauser gerichtlich zu verbieten, Kantenanleimmaschinen des Typs "KLM 2000" oder ähnliche Maschinen zu verkaufen oder zum Verkauf anzubieten. Am 19. Oktober 1994 verfügte der Gerichtspräsident superprovisorisch ein entsprechendes Verkaufsverbot, welches er mit Entscheid vom 8. Dezember 1994 bestätigte, wobei er gleichzeitig eine Sicherheitsleistung von Fr. 100'000.-- verlangte. Deren Höhe wurde auf Appellation der HB vom Appellationshof des Kantons Bern auf Fr. 50'000.-- reduziert.
B.- Am 26. April 1995 klagte die HB beim Handelsgericht des Kantons Bern und stellte zusammengefasst den Antrag, Peter Fankhauser unter Androhung der Strafe gemäss Art. 403 Abs. 1 ZPO im Falle der Widerhandlung gerichtlich zu verbieten, die Kantenanleimmaschinen des von ihm für die Klägerin hergestellten Typs "KLM 2000" oder vergleichbare Maschinen direkt oder indirekt zu verkaufen oder in Verkehr zu bringen.
Weiter verlangte die Klägerin, die bei der Gerichtsschreiberei Konolfingen in Schlosswil hinterlegte Sicherheit von insgesamt Fr. 50'000.-- sei zuzüglich Zins zu ihren Gunsten freizugeben. Der Beklagte schloss auf Abweisung der Klage und machte gegenüber der Klägerin widerklageweise Schadenersatz in gerichtlich zu bestimmender, den Betrag von Fr. 8'000.-- übersteigender Höhe geltend. Weiter beantragte der Beklagte, die klägerische Sicherheitsleistung von Fr. 50'000.-- sei in Anrechnung an den Schadenersatz an ihn zu erstatten.
Mit Gesuch vom 15. April 1996 stellte der Beklagte dem Präsidenten des Handelsgerichts den Antrag, die von der Klägerin geleistete Sicherheit von Fr. 50'000.-- sei auf Fr. 350'000.--, eventuell auf einen geringeren, gerichtlich zu bestimmenden Betrag zu erhöhen. Mit Entscheid vom 25. Juni 1996 verfügte der Handelsgerichtspräsident, die Sicherheitsleistung sei innert 20 Tagen um weitere Fr. 65'000.-- zu erhöhen.
Nachdem die Klägerin mitgeteilt hatte, diese zusätzliche Sicherheit nicht zu leisten, ist das Verkaufsverbot für den Beklagten per 17. Juli 1996 dahingefallen.
In Ergänzung der Klage stellte die Klägerin den Antrag, den Beklagten zu verpflichten, ihr Schadenersatz in gerichtlich zu bestimmender Höhe, mindestens aber im Umfange von Fr. 2'000.-- für jede verkaufte Maschine des Typs "KLM 2000" oder vergleichbarer Maschinen zuzüglich Zins zu bezahlen.
Anlässlich der Hauptverhandlung vom 27. Januar 1997 verlangte der Beklagte als neues Widerklagebegehren, der Klägerin sei unter Androhung der Rechtsfolgen gemäss Art. 403 Abs. 1 ZPO gerichtlich zu verbieten, Kantenanleimmaschinen des Typs "KLM 2000" bzw. "Akzent V32" oder vergleichbare Maschinen herzustellen, herstellen zu lassen, anzubieten, zu verkaufen oder sonstwie in Verkehr zu bringen. Weiter verlangte er von der Klägerin Schadenersatz in gerichtlich zu bestimmender, den Betrag von Fr. 8'000.-- übersteigender Höhe und die Herausgabe des Gewinns, den die Klägerin mit dem Verkauf von Kantenanleimmaschinen des Typs "KLM 2000" bzw.
"Akzent V32", welche nicht vom Beklagten bzw. der Arosys AG geliefert wurden, erzielte.
Mit Urteil vom 18. Januar 2000 wies das Handelsgericht die Klage ab und verurteilte die Klägerin, dem Beklagten als Widerkläger Fr. 66'335.-- zuzüglich Zins zu 5 % seit 8. September 1997 zu bezahlen. Weiter hiess es das Verbotsbegehren des Beklagten gut. Schliesslich wies das Handelsgericht die Gerichtsschreiberei des Gerichtskreises VII Konolfingen an, die bei ihr hinterlegte Sicherheitsleistung von Fr. 50'000.-- (zuzüglich allfälliger Zinsen) nach Rechtskraft dieses Urteils direkt an den Beklagten auszuzahlen.
C.- Die Klägerin hat gegen das Urteil des Handelsgerichts eine kantonale Nichtigkeitsklage eingereicht, welche vom Appellationshof des Kantons Bern am 3. Juli 2000 abgewiesen wurde, soweit darauf einzutreten war. Das Bundesgericht hat eine gegen diesen Entscheid gerichtete staatsrechtliche Beschwerde mit Urteil vom heutigen Tag abgewiesen, soweit darauf einzutreten war.
Die Klägerin hat das Urteil des Handelsgerichts zudem sowohl mit Berufung als auch mit staatsrechtlicher Beschwerde angefochten. Letztere wurde mit Urteil vom heutigen Tag abgewiesen, soweit darauf einzutreten war und sie nicht gegenstandslos geworden ist.
Mit der vorliegenden Berufung verlangt die Klägerin, das Urteil des Handelsgerichts aufzuheben und dem Beklagten die Herstellung und den Vertrieb von Kantenanleimmaschinen des Typs "KLM 2000" zu verbieten und die von ihr hinterlegte Sicherheit von Fr. 50'000.-- zuzüglich Zins an sie freizugeben oder eventualiter die Sache an die Vorinstanz zurückzuweisen.
Der Beklagte schliesst auf Abweisung der Berufung, soweit darauf eingetreten werden könne.

Das Bundesgericht zieht in Erwägung:
1.- Die Klägerin verzichtet darauf, das von ihr vor dem Handelsgericht gestellte Schadenersatzbegehren vor Bundesgericht zu erneuern. Das angefochtene Urteil ist daher bezüglich der Abweisung dieses Begehrens in Rechtskraft erwachsen.
2.- Die Klägerin rügt, das Handelsgericht habe Art. 8 ZGB, verletzt, weil es zur Vergleichbarkeit der "KLM 2000" und der "Altendorf Akzent V31" keine Expertise eingeholt habe.
Nach der Rechtsprechung ist Art. 8 ZGB auch dann verletzt, wenn der Richter taugliche und formgültig beantragte Beweise zu rechtserheblichen Tatsachen nicht abnimmt, obwohl er die entsprechenden Sachvorbringen weder als bewiesen noch als widerlegt erachtet. Die Bestimmung schreibt dem Richter hingegen nicht vor, mit welchen Mitteln er den Sachverhalt abzuklären und wie er das Ergebnis seiner Abklärungen zu würdigen habe. Sie verbietet ihm auch nicht, angebotene Beweise vorweg zu würdigen und gestützt darauf auf ihre Abnahme zu verzichten (<ref-ruling> E. b mit Hinweisen). Auf diese Weise ist das Obergericht im vorliegenden Fall vorgegangen, indem es auf die Einholung einer Expertise bezüglich der Vergleichbarkeit der beiden Maschinentypen verzichtete, weshalb keine Verletzung von Art. 8 ZGB vorliegt.
3.- Die Klägerin macht geltend, das Handelsgericht habe Art. 364 Abs. 1 OR verletzt, indem es verneinte, dass der Beklagte durch den selbständigen Vertrieb der "KLM 2000" an Dritte nachvertragliche Treuepflichten verletzt habe. Dem Beklagten sei die Funktion eines Unternehmers beim Werkvertrag zugekommen, weshalb er geheim zu haltende Tatsachen, wie Fabrikations- und Geschäftsgeheimnisse, von denen er als Vertragspartner des Bestellers erfahre, nicht hätte selber verwerten oder anderen mitteilen dürfen. Dies gelte insbesondere, weil die Klägerin mit der Vertraulichkeitsvereinbarung vom 8. Januar 1993 ihren Geheimhaltungswillen ausdrücklich dokumentiert habe. Dass sie diesen Willen verloren habe, könne aus der Übereinkunft vom 10. März 1994 nicht geschlossen werden. Das Handelsgericht hätte daher eine Verletzung der Treuepflichten und damit ein unlauteres Verhalten des Beklagten bejahen müssen, woraus sich ein Unterlassungsanspruch der Klägerin ergebe.
a) aa) Nach Art. 2 UWG ist jedes täuschende oder in anderer Weise gegen den Grundsatz von Treu und Glauben verstossende Verhalten oder Geschäftsgebaren, welches das Verhältnis zwischen Mitbewerbern oder zwischen Anbietern und Abnehmern beeinflusst, unlauter und widerrechtlich. Dieser Grundsatz wird insbesondere in Art. 5 UWG konkretisiert, der Fälle nennt, in denen die Verwertung fremder Leistungen gegen Treu und Glauben verstösst (vgl. <ref-ruling> E. 3b/bb S. 462). So handelt unlauter, wer ein ihm anvertrautes Arbeitsergebnis wie Offerten, Berechnungen oder Pläne unbefugt verwertet (Art. 5 lit. a UWG) oder das marktreife Arbeitsergebnis eines anderen ohne angemessenen eigenen Aufwand durch technische Reproduktionsverfahren als solches übernimmt und verwertet (Art. 5 lit. c UWG). Haben die Parteien ein Erzeugnis in einer fortgesetzten Rechtsbeziehung entwickelt, bei der beide Partner die Anstrengungen zur Verbesserung vereinen, so wird dieses Arbeitsergebnis gemeinsames Gut, welches nach Beendigung der Zusammenarbeit mangels anderer Parteivereinbarung von beiden Parteien verwertet werden darf, sofern keine besonderen Umstände vorliegen (vgl. <ref-ruling> E. 5 S. 279 f.).
bb) Kann bezüglich einer Vereinbarung kein tatsächlich übereinstimmender Wille der Parteien festgestellt werden, so sind ihre Erklärungen nach dem Vertrauensprinzip so auszulegen, wie sie nach ihrem Wortlaut sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 2b; <ref-ruling> E. 4b/aa). Wie die Auslegung nach dem Vertrauensprinzip vorzunehmen ist, stellt eine Rechtsfrage dar, welche das Bundesgericht im Berufungsverfahren überprüfen kann, wobei es an die Feststellungen der Vorinstanz über die äusseren Umstände, unter denen die Erklärungen abgegeben wurden, gebunden ist (<ref-ruling> E. 3a S. 168).
b) In Ziff. 4 des Vertrages vom 8. Januar 1993 verpflichtete sich der Beklagte insbesondere dazu, der Klägerin den Schaden zu ersetzen, den diese dadurch erleidet, dass Konstruktionsunterlagen dazu benutzt werden, Altendorf Kantenanleimmaschinen herzustellen oder technisch vergleichbare Maschinen herzustellen. Es stellt sich damit die Frage, wie die technische Vergleichbarkeit in dieser Vertragsbestimmung von den Parteien verstanden werden musste. Dabei ist zu berücksichtigen, dass die auf dem Markt befindlichen Kantenanleimmaschinen, die patentrechtlich nicht geschützt sind, von Grundprinzipien ausgehen, die auch ohne Konstruktionspläne erkennbar sind, weshalb nach Treu und Glauben davon auszugehen ist, dass mit der gewählten Formulierung nicht die Übernahme dieser Prinzipien, sondern die Nachahmung der Maschine gemäss den Konstruktionsplänen der Klägerin ohne wesentliche Änderungen, bzw. die Umgehung des Verbots der Nachkonstruktion durch Abänderung unbedeutender Details ausgeschlossen werden sollte. Die Kantenanleimmaschine des Typs "KLM 2000" weist gemäss den tatsächlichen Feststellungen der Vorinstanz gegenüber der "Altendorf Akzent V31" wesentliche eigene Konstruktionsideen auf und stellt damit keine blosse Nachkonstruktion dar, weshalb sie nicht unter das Verwertungsverbot gemäss Ziffer 4 des Vertrages vom 8. Januar 1993 fällt. Weiter gilt es zu beachten, dass dieser Vertrag bloss zur Ermittlung des Herstellungspreises der "Altendorf Akzent V31" im Hinblick auf deren spätere Produktion abgeschlossen und eine Weiterentwicklung dieses Modells darin nicht vorgesehen wurde. Aus diesem Vertrag kann daher kein Anspruch auf das weiterentwickelte Know-how abgeleitet werden. Eine werkvertragliche Vereinbarung, wonach der Beklagte die Weiterentwicklung im Auftrag und auf Kosten der Klägerin vorzunehmen hatte, ist nicht nachgewiesen. Es fehlt damit eine entsprechende vertragliche Regelung, weshalb davon auszugehen ist, dass das aus der Zusammenarbeit der Parteien entstandene Arbeitsergebnis für beide keine fremde Leistung im Sinne von Art. 5 UWG darstellt und sie daher nach der tatsächlichen Beendigung ihrer Zusammenarbeit berechtigt waren, dieses Ergebnis je für sich zu verwerten. Besondere Umstände, welche insoweit für einen Verstoss gegen Treu und Glauben sprechen würden, sind nicht ersichtlich, zumal sich die Parteien in ihrer Aufhebungsvereinbarung vom 10. März 1994 ausdrücklich verpflichteten, mit diesem Rücktritt keine Schadenersatzforderungen oder andere Forderungen zu stellen und keine weiteren gerichtlichen Massnahmen bezüglich der beendeten Vertragsbeziehungen vorzunehmen. Der Beklagte hat demnach nicht unlauter gehandelt, indem er Maschinen des Typs "KLM 2000" selber zu vertreiben versuchte, weshalb das Handelsgericht das entsprechende Verbotsbegehren der Klägerin zu Recht abwies.
4.- Das Handelsgericht führte weiter aus, gleich wie für den Beklagten habe auch für die Klägerin auf Grund der Aufhebungsvereinbarung vom 10. März 1994 nur noch eine beschränkte nachvertragliche Treuepflicht bestanden, welche spätestens erloschen sei, als ab August 1994 klar geworden sei, dass die Klägerin beim Beklagten keine weiteren Kantenanleimmaschinen des Typs "KLM 2000" mehr bestellen werde. Zwischen den Parteien bestehe jedoch Einigkeit darüber, dass die Maschinen des Typs "Akzent (Perfect) V32" und "KLM 2000" identisch seien. Die Klägerin habe damit, indem sie selber "Perfect V32" Maschinen herstellen liess, eine sklavische Nachahmung der "KLM 2000" vorgenommen. Eine solche sei wettbewerbsrechtlich grundsätzlich zulässig, solange nicht weitere, qualifizierende Elemente hinzutreten würden, aus denen insgesamt auf eine Verwechslungsgefahr oder auf ein in anderer Weise gegen den Grundsatz von Treu und Glauben verstossendes Verhalten im Sinne von Art. 2 UWG geschlossen werden müsse. Im vorliegenden Fall liege ein derartiges Verhalten der Klägerin vor, indem sie sich, nachdem die Geschäftsbeziehungen zwischen den Parteien ihr Ende gefunden hatten, nicht darauf beschränkt habe, die nunmehr bei einer Drittfirma hergestellten Kantenanleimmaschinen zu vertreiben, sondern zudem den Beklagten durch die Erwirkung eines gerichtlichen Verbots im Oktober 1994 erfolgreich daran gehindert habe, dasselbe zu tun. Damit habe die Klägerin den Beklagten als Mitbewerber auf dem Markt in unzulässiger Weise behindert. Das von ihm gestellte Begehren auf ein gerichtliches Verbot der Vertreibung von Kantenanleimmaschinen des Typs "Akzent V32" sei damit gutzuheissen, wobei auf eine Befristung des ohnehin nur im Kanton Bern vollstreckbaren Verbots verzichtet werden könne.
Die Klägerin rügt, das Handelsgericht habe verkannt, dass Art. 2 in Verbindung mit Art. 9 Abs. 1 UWG höchstens zuliesse, ihr weitere Wettbewerbsbehinderungen zu verbieten, nicht jedoch den als zulässig anerkannten Vertrieb der Kantenanleimmaschine des Typs "Akzent V32" zu untersagen.
a) Gemäss Art. 9 Abs. 1 lit. a UWG kann, wer durch unlauteren Wettbewerb in seiner Kundschaft, seinem Kredit oder beruflichen Ansehen, in seinem Geschäftsbetrieb oder sonst in seinem wirtschaftlichen Interesse bedroht oder verletzt wird, dem Richter beantragen, eine drohende Verletzung zu verbieten.
b) Die Kantenanleimmaschine des Typs "Akzent V32" ist aus der Zusammenarbeit der Parteien hervorgegangen, weshalb dieses Arbeitsergebnis mangels einer anderen Parteivereinbarung zum gemeinsamen Gut geworden und von beiden Parteien verwertet werden kann (vgl. vorstehende Erwägung).
Davon geht im Ergebnis auch der Beklagte aus, wenn er annimmt, die Aufhebungsvereinbarung vom 10. März 1994 sei dahingehend auszulegen, dass beide Parteien hinsichtlich der Produktion und des Vertriebes der zur Diskussion stehenden Kantenanleimmaschine frei seien und sich gegenseitig nicht behindern werden. Die Klägerin hat daher entgegen der Annahme des Handelsgerichts keine fremde Leistung im Sinne von Art. 5 UWG verwertet und nicht unlauter gehandelt, indem sie die weiterentwickelte Kantenanleimmaschine herstellen und vertreiben liess. Daran vermag auch der Umstand nichts zu ändern, dass die Klägerin gegenüber dem Beklagten ein entsprechendes ungerechtfertigtes Unterlassungsbegehren stellte und vorübergehend durchsetzen konnte, weil diese unzulässige Behinderung des Mitbewerbers nicht zur Folge hat, dass der Vertrieb der Kantenanleimmaschine des Typs "Akzent V32" durch die Klägerin unlauter wird. Das Begehren des Beklagten, der Klägerin diese Verwertung zu verbieten, ist daher in Abänderung des angefochtenen Urteils abzuweisen.
5.- Das Handelsgericht führte dem Sinne nach aus, die Klägerin habe sich bezüglich des zu Unrecht gegen den Beklagten erwirkten Verkaufsverbots nicht exkulpieren können. Die Klägerin werde daher auf Grund dieses Verbots nicht nur schadenersatzpflichtig, sondern habe auch gemäss Art. 2 in Verbindung mit Art. 9 Abs. 3 UWG die dadurch auf unlautere Weise erworbenen Wettbewerbsvorteile herauszugeben. Diesbezüglich stellte das Handelsgericht fest, die Klägerin habe bis zum Sommer 1997 60 Maschinen mit je einem Reingewinn von Fr. 1'000.-- verkauft und damit einen Gewinn von Fr. 60'000.-- erzielt, den sie dem Beklagten herauszugeben habe.
Die Klägerin rügt, ein Anspruch auf Herausgabe ihres mit dem Vertrieb der Kantenanleimmaschine "Akzent V32" erzielten Gewinns bestehe nicht, weil dieser Vertrieb nicht unlauter sei.
a) Nach Art. 9 Abs. 3 UWG kann, wer durch unlauteren Wettbewerb in seinen wirtschaftlichen Interessen verletzt wird, auf Herausgabe eines Gewinns entsprechend den Bestimmungen über die Geschäftsführung ohne Auftrag klagen. Eine solche Geschäftsführung liegt insbesondere vor, wenn jemand, ohne dazu beauftragt zu sein, für einen anderen in dessen (vermeintlichem) Interesse ein Geschäft führt. Von dieser Fremdgeschäftsführung unterscheidet sich die sogenannte unechte Geschäftsführung ohne Auftrag, bei welcher jemand durch Geschäftsanmassung zum eigenen Vorteil unberechtigt in eine fremde Rechtssphäre eingreift, indem er zum Beispiel Urheberrechte Dritter verletzt (<ref-ruling> E. 2a S. 72 mit Hinweisen; vgl. auch <ref-ruling> E. 4b/aa) oder eine fremde Leistung im Sinne von Art. 5 UWG unlauter verwertet (Lucas David, in: Schweizerisches Immaterialgüter- und Wettbewerbsrecht [SIWR], Bd. I/2, Der Rechtsschutz im Immaterialgüterrecht,
2. Aufl. , S. 120 f.; Georg Rauber, Klageberechtigung und prozessrechtliche Bestimmungen, Art. 9-15 UWG, in: SIWR V/1, Lauterkeitsrecht, 2. Aufl. , S. 243 mit weiteren Hinweisen).
b) Da die Klägerin die umstrittene Kantenanleimmaschine nicht für den Beklagten vertreiben wollte, kommt insoweit lediglich eine unechte Geschäftsführung in Frage. Diesbezüglich fehlt es jedoch an der Voraussetzung des Eingriffs in eine fremde Rechtssphäre, weil die Klägerin gemäss der vorstehenden Erwägung trotz der Erwirkung eines unzulässigen Verkaufsverbots gegenüber dem Beklagten zur eigenen Verwertung der weiterentwickelten Kantenanleimmaschine berechtigt war. Die Klägerin hat sich somit nicht ein fremdes Geschäft angemasst, indem sie diese Maschine herstellen und vertreiben liess, weshalb dem Beklagten kein Anspruch auf Herausgabe des dadurch erzielten Gewinns gemäss Art. 9 Abs. 3 UWG zusteht.
6.- Bezüglich des dem Beklagten aus dem Verkaufsverbot erwachsenen Schadens kam das Handelsgericht nach eingehender Prüfung der Vorbringen des Beklagten insbesondere unter Berücksichtigung des Umstandes, dass er es nach Ablauf des Verkaufsverbots unterliess, selber Kantenanleimmaschinen auf dem Markt anzubieten, zum Ergebnis, dass die vom Beklagten genannten Grundlagen, auch wenn dem Gericht bei der Bemessung der Schadenersatzpflicht ein weites Ermessen zukomme, zu wenig Anhaltspunkte bieten würden, um eine Schadenshöhe zu ermitteln, welche nicht zu einem wesentlichen Teil auf rein spekulativen Annahmen basierten. Es erscheine daher angezeigt, alternativ auf den von der verletzenden Partei erzielten Gewinn abzustellen, da die Praxis auch für die Berechnung des Schadenersatzes selber einen Vergleich mit den Verhältnissen beim Verletzer zulasse. Damit werde der Schaden des Verletzten dem Gewinn des Verletzers gleichgestellt. Dem Kläger stehe daher auch deshalb ein Anspruch auf den von der Klägerin erwirtschafteten Gewinn von Fr. 60'000.-- zu, wobei offen bleiben könne, ob es sich dabei um Gewinnherausgabe oder einen echten Schadenersatz handle. Nicht als Gewinnherausgabe, sondern kumulativ als Schadenersatz, seien dem Beklagten ferner dessen vorprozessuale Aufwendungen von Fr. 2'300.-- sowie die Marketingaufwendungen von insgesamt Fr. 4'035.-- zu ersetzen, weshalb die Klägerin dem Beklagten zuzüglich zur Gewinnherausgabe weitere Fr. 6'335.-- zu erstatten habe.
Die Klägerin bestreitet nicht, dass sie auf Grund einer sich im Nachhinein als ungerechtfertigt erweisenden einstweiligen Verbotsverfügung gemäss Art. 14 UWG in Verbindung mit Art. 28f ZGB schadenersatzpflichtig werden kann. Sie macht jedoch geltend, ein Schaden sei nicht nachgewiesen.
a) Der Schaden besteht auch im Bereich des Wettbewerbsrechts in einer durch das schädigende Ereignis verursachten Verminderung des Reinvermögens (vgl. Pedrazzini, Unlauterer Wettbewerb, UWG, S. 206; Pedrazzini/von Büren, Marbach, Immaterialgüter- und Wettbewerbsrecht, S. 182 Rz.
763). Er kann in einer Verminderung der Aktiven, einer Vermehrung der Passiven oder in entgangenem Gewinn bestehen und entspricht nach allgemeiner Auffassung der Differenz zwischen dem gegenwärtigen Vermögensstand und dem Stand, den das Vermögen ohne das schädigende Ereignis hätte (<ref-ruling> E. 3a/aa S. 444, mit Hinweis). Die Feststellung des Bestandes und der Höhe des Schadens betreffen Tatfragen, über welche das kantonale Sachgericht grundsätzlich abschliessend befindet.
Das Bundesgericht kann auf Berufung hin bloss überprüfen, ob die Vorinstanz den Rechtsbegriff des Schadens verkannt oder gegen Rechtsgrundsätze der Schadensberechnung verstossen hat. Entsprechendes gilt auch bei der Schadensschätzung gemäss Art. 42 Abs. 2 OR, weshalb auch diesbezüglich eine tatsächliche Feststellung vorliegt, wenn das kantonale Sachgericht die an Sicherheit grenzende bzw. überwiegende Wahrscheinlichkeit des Vorliegens des geltend gemachten Schadens auf Grund der Würdigung von Beweisen und konkreten Umständen bejaht oder verneint hat (<ref-ruling> E. 3b S. 222 f. mit weiteren Hinweisen).
b) Indem das Handelsgericht gestützt auf die Würdigung der vom Beklagten anerbotenen Beweise und angerufenen Umständen den Nachweis eines entgangenen Gewinns des Beklagten als nicht erbracht erachtete, hat es eine Beweiswürdigung vorgenommen, an die das Bundesgericht als Berufungsinstanz gebunden ist, zumal insoweit eine Verletzung bundesrechtlicher Grundsätze der Schadensberechnung weder geltend gemacht noch erkennbar ist. Eine Verletzung dieser Grundsätze liegt jedoch insoweit vor, als das Handelsgericht bei der Bestimmung des Schadens des Beklagten auf den Gewinn der Klägerin abstellte. Es verkannte dabei, dass gemäss der von ihm angerufenen kantonalen Praxis die Berücksichtigung des Gewinns des Schädigers bei der Schadensschätzung bezüglich der Verletzung von Immaterialgüterrechten nur insoweit zugelassen wird, als im Sinne eines Analogieschlusses gemutmasst werden kann, es wäre dem Schutzrechtsinhaber wohl möglich gewesen, den gleichen Gewinn wie der Verletzer zu erwirtschaften (David, a.a.O., S. 116 mit Hinweis). Das Handelsgericht ist jedoch nicht von einer solchen Mutmassung ausgegangen. Vielmehr hat es ausdrücklich festgestellt, die Verkaufsbemühungen des Beklagten seien recht aufwändig und mühselig gewesen, so dass er auch ohne richterliches Verbot realistischerweise nicht mit einem Verkaufserfolg im Umfang desjenigen der Klägerin hätte rechnen können. Demnach konnte der Gewinn der Klägerin nicht mit dem entgangenen Gewinn des Beklagten gleichgesetzt und ihm als Schaden angerechnet werden. Da dem Beklagten gemäss der vorstehenden Erwägung auch kein Anspruch auf Gewinnherausgabe nach Art. 9 Abs. 3 UWG zusteht, ist das angefochtene Urteil aufzuheben, soweit das Handelsgericht die Klägerin verpflichtete, dem Beklagten als Gewinnherausgabe bzw. Schadenersatz Fr. 60'000.-- zu bezahlen.
Bezüglich des vom Handelsgericht zugesprochenen Ersatzes der vorprozessualen Aufwendungen von Fr. 2'300.-- ist eine Bundesrechtsverletzung nicht ersichtlich (vgl. <ref-ruling> E. 5 S. 267). Demgegenüber verstösst das angefochtene Urteil gegen die Grundsätze der Schadensbestimmung, soweit es die Klägerin verpflichtet, dem Beklagten seine Marketingaufwendungen von Fr. 4'035.-- zu ersetzen, weil diese nicht durch das Verkaufsverbot verursacht, sondern zuvor und unabhängig davon getätigt wurden. Das Verbot hätte insoweit lediglich zu einer Vermögensverminderung kausal sein können, als es dem Beklagten verunmöglichte, die Früchte seiner Marketingaufwendungen zu ernten. Einen entsprechenden entgangenen Gewinn konnte der Beklagte jedoch nicht rechtsgenüglich nachweisen. Das angefochtene Urteil ist demnach insoweit aufzuheben, als die Klägerin verpflichtet wurde, dem Beklagten seine Marketingaufwendungen zu ersetzen.
7.- Nach dem Gesagten ist die Berufung teilweise gutzuheissen und das angefochtene Urteil teilweise aufzuheben und dahingehend abzuändern, dass die vom Beklagten gestellten Widerklagebegehren auf Erlass eines Vertriebsverbots und auf Zusprechung von Schadenersatz bzw. Gewinnherausgabe über den Betrag von Fr. 2'300.-- hinaus abzuweisen sind. Entsprechend ist auch die Verfügung über die Auszahlung der von der Klägerin geleisteten Sicherheit von Fr. 50'000.-- abzuändern.
Da die Klägerin bezüglich der umstrittenen Unterlassungsbegehren teilweise und bezüglich des Schadenersatzes bzw. der Gewinnherausgabe weitgehend obsiegte, rechtfertigt es sich, die Gerichtskosten zu einem Drittel der Klägerin und zu zwei Dritteln dem Beklagten aufzuerlegen und diesen zu verpflichten, der Klägerin eine entsprechend reduzierte Parteientschädigung zu entrichten.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird teilweise gutgeheissen und die Ziffern 2 - 4 des Dispositivs des Urteils des Handelsgerichts des Kantons Bern vom 18. Januar 2000 werden aufgehoben und durch folgende Bestimmungen ersetzt:
"2.Die Klägerin wird verpflichtet, dem Beklagten
Fr. 2'300.-- nebst 5 % Zins seit 8. September
1997 zu bezahlen.
3. Das Begehren des Beklagten, der Klägerin zu verbieten,
Kantenanleimmaschinen des Typs "KLM 2000"
bzw. "Akzent V32" oder vergleichbare Maschinen,
welche darauf basieren, in irgend einer Form
herzustellen, herstellen zu lassen, anzubieten,
zu verkaufen oder sonstwie in Verkehr zu bringen,
wird abgewiesen.
4. Die Gerichtsschreiberei des Kreises Konolfingen
wird angewiesen, die bei ihr hinterlegte Sicherheit
von Fr. 50'000.-- im Umfang von Fr. 2'300.-- nebst 5 % Zins seit 8. September 1997 an den Beklagten
und im übrigen an die Klägerin auszubezahlen.. "
2.- Die Gerichtsgebühr von Fr. 4'000.-- wird der Klägerin zu einem Drittel und dem Beklagten zu zwei Dritteln auferlegt.
3.- Der Beklagte hat der Klägerin eine reduzierte Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4.- Die Streitsache wird zur neuen Verlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
5.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Bern schriftlich mitgeteilt.
_
Lausanne, 5. Januar 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: