hat sich ergeben:
A.- Die Gresta Data AG befasste sich mit der Entwicklung von Software-Programmen. Anfangs der neunziger Jahre hatte sie die Absicht, ein umfassendes, hardwareunabhängiges Banken-Softwareprogrammpaket zu realisieren, dem sie die Bezeichnungen "DIALBA 2000/PRIBAS 2000/VERMÖGEN 2000" gab. Das Programm "DIAlBA 2000" richtete sich speziell an die Raiffeisenbanken, während "PRIBAS 2000" für Privatbanken und "VERMÖGEN 2000" für die Vermögensverwaltung gedacht war.
Am 29. Januar/24. Februar 1992 schlossen die Gresta Data AG und der Schweizer Verband der Raiffeisenbanken (SVRB) einen Vertrag, der die Fortentwicklung des Softwarepaketes "DIALBA 2000" durch die Gresta mit Unterstützung des SVRB zum Gegenstand hatte. Als Ziel des Projektes wurde die Entwicklung eines Softwarepaketes genannt, das bei einer Vielzahl von Raiffeisenbanken eingesetzt werden könne. Gemäss Art. 6 Abs. 1 des Vertrages stand dem SVRB "für den Fall des Abbruches des Projektes durch GRESTA das Recht zu, sämtliche im Zeitpunkt des Abbruches vorliegenden Ergebnisse der Projektarbeit sowie die Lizenz am Softwarepaket mit Berechtigung zum Vertrieb im Raiffeisenbereich und zur Weiterentwicklung zu übernehmen".
Am 28. Dezember 1992 beschloss der Verwaltungsrat der Gresta Data AG die Anmeldung des Konkurses der Gesellschaft. Am 18. Mai 1993 eröffnete der Konkursrichter des Bezirksgerichts Zürich den Konkurs über die Gresta Data AG. Das Konkursverfahren wurde am 12. Juli 1993 mangels Aktiven eingestellt. Gegen die Löschung der Gesellschaft im Handelsregister wurde Einsprache erhoben, was dazu führte, dass sich die Gesellschaft seither gemäss Art. 66 Abs. 2 HRegV (Handelsregisterverordnung vom 7. Juni 1937; SR 221.411) in Liquidation befindet.
Das Projekt "DIALBA 2000" wurde nach der Konkurseröffnung über die Gresta Data AG zunächst gemeinsam vom SVRB und der Bank Wegelin & Co. fortgesetzt. Am 30. Juni 1993 gründeten der SVRB und die erwähnte Bank die Basoft Neue Bankensoftware AG, welche die Arbeit am Projekt übernahm und weiter führte. In der Folge veräusserte die Bank ihre Beteiligung an dieser Gesellschaft an den SVRB. Dieser teilte in einem an die Raiffeisenbanken gerichteten Rundschreiben vom 30. August 1993 mit, dass die neue Softwarelösung "DIALBA 2000" kurz vor dem Markteintritt stehe.
B.- Nachdem der SVRB Geldforderungen der Gresta Data AG in Liquidation abgelehnt hatte, reichte diese im März 1995 beim Handelsgericht des Kantons St. Gallen Klage ein. Die Klägerin stellte den Antrag, den Beklagten für die Verwertung des Softwareprogrammpaketes "DIALBA 2000" zur Bezahlung eines vom Beweisergebnis abhängigen und daher später zu beziffernden Betrages nebst 5 % Zins seit 13. April 1994 zu verpflichten (Antrag Ziffer 1). Sie stellte zudem die Rechtsbegehren, den Beklagten zu verpflichten, ihr für die zukünftige Nutzung des Softwareprogrammpaketes "DIALBA 2000" einen vom Beweisergebnis abhängigen und daher später zu beziffernden Anteil an allen zukünftigen Verwertungsvorteilen aus diesem Paket auszurichten (Antrag Ziffer 2), und festzustellen, dass sie Miturheberin des Softwareprogrammpaketes "DIALBA 2000" sei und dass daher jegliche Verwendung dieses Paketes ihrer Zustimmung bedürfe, auszunehmen seien lediglich die Vertriebsrechte im Sinne der Überlassung zur Nutzung an Verbandsmitglieder des Beklagten (Antrag Ziffer 3).
Mit Entscheid vom 29. September 1998 wies das Handelsgericht die Rechtsbegehren Ziffer 1 und 2 ab und trat auf das Rechtsbegehren Ziffer 3 mangels sachlicher Zuständigkeit nicht ein. Das Handelsgericht kam aufgrund der Auslegung der Vereinbarung vom 29. Januar/24. Februar 1992 nach dem Vertrauensgrundsatz zum Ergebnis, es sei zwischen den Vertragsparteien vereinbart worden, dass der Beklagte der Klägerin für deren Entwicklungsarbeit am Softwarepaket "DIALBA 2000" keine Entschädigung schulde. Die Klägerin reichte gegen diesen Entscheid kantonale Nichtigkeitsbeschwerde und eidgenössische Berufung ein. Die Nichtigkeitsbeschwerde wurde vom Kassationsgericht des Kantons St. Gallen mit Urteil vom 28. April 1999 abgewiesen, soweit es auf sie eintrat. Eine von der Klägerin gegen diesen Entscheid gerichtete staatsrechtliche Beschwerde wegen Verletzung von Art. 4 aBV ist mit Urteil vom heutigen Tag abgewiesen worden, soweit darauf eingetreten werden konnte.
C.- Mit der vorliegenden Berufung beantragt die Klägerin dem Bundesgericht, das Urteil des Handelsgerichts aufzuheben und die Sache im Sinne der Erwägungen des Bundesgerichts zur Neuentscheidung an dieses zurückzuweisen; eventualiter den Beklagten zu verpflichten, der Klägerin für die Verwertung des überlassenen Softwareprogrammpaketes "DIALBA 2000" den Betrag von 6 Millionen Franken nebst 5 % Zins seit 13. April 1994 und Fr. 100.-- Kosten des Vermittlungsvorstandes vom 1. Februar 1995 zu bezahlen. Der Beklagte stellt die Anträge, auf die Berufung nicht einzutreten, eventualiter Haupt- und Eventualbegehren der Klägerin abzuweisen und das Urteil des Handelsgerichts zu bestätigen.
Auf Gesuch des Beklagten ist die Klägerin mit Präsidialverfügung vom 1. Oktober 1999 zur Sicherstellung einer der Gegenpartei allfällig geschuldeten Parteientschädigung angehalten worden. Sie hat die Sicherheitsleistung im Betrag von Fr. 20'000.-- rechtzeitig erbracht.

Das Bundesgericht zieht in Erwägung:
1.- Nach Auffassung des Beklagten ist auf die Berufung mangels gehöriger Bevollmächtigung des Anwaltes der Klägerin nicht einzutreten. Er hält an seiner bereits vor dem Handelsgericht vorgebrachten - und von diesem verworfenen - Begründung fest, dass die Vollmacht unwirksam sei, weil sie lediglich von Verwaltungsrat Guido Stadelmann und nicht von der Gesamtheit des Verwaltungsrates bzw. der Liquidatoren unterzeichnet worden sei.
Aus dem Urteil des Handelsgerichts geht hervor, dass Guido Stadelmann einzelzeichnungsberechtigter Verwaltungsrat der Klägerin ist. Gemäss Art. 740 Abs. 1 OR wird die Liquidation durch den Verwaltungsrat besorgt, sofern sie nicht in den Statuten oder durch einen Beschluss der Generalversammlung anderen Personen übertragen wird. Das ist nach dem Urteil des Handelsgerichts im Fall der Klägerin nicht geschehen, weshalb die bisherigen Vertretungsbefugnisse (Art. 718 und 718a OR) weiter gelten. Entgegen dem Einwand des Beklagten reicht somit die Bevollmächtigung des Anwalts der Klägerin durch Guido Stadelmann aus.
2.- Im Berufungsverfahren hat das Bundesgericht seiner Entscheidung die tatsächlichen Feststellungen der Vorinstanz als wahr und vollständig zugrunde zu legen, es sei denn, sie beruhten auf einem offensichtlichen Versehen, seien unter Verletzung bundesrechtlicher Beweisvorschriften zustande gekommen oder bedürften der Ergänzung, weil das Sachgericht in fehlerhafter Rechtsanwendung einen gesetzlichen Tatbestand nicht oder nicht hinreichend klärte, obgleich ihm entscheidwesentliche Behauptungen und Beweisanerbieten dazu prozesskonform unterbreitet worden waren (Art. 63 und 64 OG; <ref-ruling> E. 2a S. 485 f.). Eine blosse Kritik an der Beweiswürdigung des Sachgerichts ist, soweit nicht Vorschriften des Bundesrechts in Frage stehen, in der Berufung ausgeschlossen (<ref-ruling> E. 2b S. 99; <ref-ruling> E. 3b S. 382).
Die Klägerin rügt eine Verletzung von Art. 8 ZGB mit der Begründung, die Vorinstanz habe ihr keine Gelegenheit gegeben, materiell zu den vom Beklagten mit Eingabe vom 2. Juli 1998 eingereichten Vertragsentwürfen Stellung zu nehmen; hätte sie diese Gelegenheit gehabt, hätte sie Beweisanträge zur streitigen Frage der Unentgeltlichkeit gestellt. Nach der Rechtsprechung ergibt sich aus Art. 8 ZGB das Recht, zum Beweis oder Gegenbeweis zugelassen zu werden, wenn die Beweisanträge nach dem kantonalen Verfahrensrecht rechtzeitig und in vorgeschriebener Form gestellt worden sind (<ref-ruling> E. 3c S. 223; <ref-ruling> f.). An dieser Voraussetzung mangelt es im vorliegenden Fall, denn nach dem Ergebnis des staatsrechtlichen Beschwerdeverfahrens ist davon auszugehen, dass das Vorgehen des Handelsgerichts nicht gegen kantonales Prozessrecht verstiess. Eine Verletzung des bundesrechtlichen Beweisanspruchs scheidet damit aus.
3.- Vertragsbezogene Willenserklärungen sind nach dem Vertrauensgrundsatz so auszulegen, wie sie vom Empfänger nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 2a/aa S. 436 f. mit Hinweisen). Dazu gehören namentlich die Umstände des Vertragsschlusses. Nach den verbindlichen Feststellungen der Vorinstanz haben die Parteien vor Vertragsschluss über die Frage verhandelt, ob im Fall des Projektabbruches durch die Klägerin und der Übernahme der Ergebnisse der Entwicklungsarbeit durch den Beklagten eine Entschädigung geschuldet sei. Die Vorinstanz hält dazu fest, aus den Vertragsentwürfen gehe hervor, dass zuerst eine Entschädigung auf der Grundlage der belegbaren und betriebswirtschaftlich gerechtfertigten Aufwendungen der Klägerin vorgesehen, dann aber in den nachfolgenden Entwürfen darauf verzichtet worden sei, indem zuerst von einer unentgeltlichen Unterlizenz bzw. Lizenz die Rede gewesen sei, später keine entsprechende Bestimmung mehr vorgesehen und schliesslich im letzten Entwurf, der mit dem Vertragstext übereinstimme, eine Konventionalstrafe zu Lasten der Klägerin für den Fall des Projektabbruchs nach dem 1. Januar 1993 vereinbart worden sei. Aus diesen Umständen hat die Vorinstanz abgeleitet, dass der Beklagte aufgrund des Fehlens einer Regelung der Frage in der Vereinbarung vom 29. Januar/24. Februar 1992 nach Treu und Glauben habe annehmen dürfen, die Klägerin habe für den Fall des Abbruchs die unentgeltliche Überlassung der Ergebnisse ihrer Entwicklungsarbeit versprochen. Mit dieser Beurteilung hat die Vorinstanz nicht gegen den Vertrauensgrundsatz verstossen, sondern eine mit dem Bundesrecht vereinbare Auslegung vorgenommen. Die Klägerin will demgegenüber entscheidend auf die Aussagen der Zeugen Moser und Wunderlin abstellen, aus denen sich ergebe, dass die Vertragsparteien grundsätzlich eine Entschädigungspflicht anerkannt hätten. Die Vorinstanz geht indes aufgrund ihrer Beweiswürdigung von einem anderen Sachverhalt aus. Aus ihren Erwägungen ergibt sich, dass sie annahm, es sei kein entsprechender übereinstimmender wirklicher Wille der Parteien bewiesen worden. Was die Klägerin in diesem Zusammenhang mit der Berufung vorbringt, erschöpft sich in unzulässiger Kritik an der Beweiswürdigung sowie den tatsächlichen Feststellungen der Vorinstanz und ist nicht zu hören.
4.- Nach Auffassung der Klägerin sind auf die Vereinbarung vom 29. Januar/24. Februar 1992 die Regeln des Werkvertragsrechts anzuwenden, woraus sich von Gesetzes wegen (Art. 374 OR) die Entschädigungspflicht des Beklagten ergebe; zum gleichen Ergebnis gelange man unter Berücksichtigung der Regeln des Urheberrechts. Die Vorinstanz hat das Vorliegen eines Werkvertrags verneint und die Vereinbarung rechtlich als Innominatkontrakt qualifiziert.
Die Frage der rechtlichen Qualifikation des Vertrages ist für das bundesgerichtliche Verfahren nicht erheblich und kann deshalb offen bleiben. Die bundesrechtlich nicht zu beanstandende Vertragsauslegung durch die Vorinstanz hat ergeben, dass die Parteien für den Fall des Projektabbruchs die unentgeltliche Übertragung des dannzumal vorliegenden Arbeitsergebnisses an den Beklagten vereinbart haben. Unter diesen Umständen vermag die Frage, wie der Vertrag rechtlich zu qualifizieren ist, den Ausgang des Verfahrens nicht zu beeinflussen. Die Klägerin behauptet im Übrigen nicht, dass insoweit keine Vertragsfreiheit besteht. Es ist denn auch nicht ersichtlich, welche zwingenden Normen des Bundesrechts einer derartigen Abrede entgegen stehen sollten.
5.- Aus diesen Gründen ist die Berufung abzuweisen und das angefochtene Urteil zu bestätigen. Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr der Klägerin aufzuerlegen (Art. 156 Abs. 1 OG). Die Klägerin hat den Beklagten für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG). Die Parteientschädigung ist dem Beklagten von der Bundesgerichtskasse aus dem gestellten Betrag auszurichten.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen und das Urteil des Handelsgerichts des Kantons St. Gallen vom 29. September 1998 bestätigt.
2.- Die Gerichtsgebühr von Fr. 12'000.-- wird der Klägerin auferlegt.
3.- Die Klägerin hat den Beklagten für das bundesgerichtliche Verfahren mit Fr. 15'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
_
Lausanne, 29. Februar 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: