Patentnichtigkeit, hat sich ergeben:
A.- Die Waldemar Link GmbH & Co., Hamburg, stellt Hüftgelenkprothesen her, insbesondere Prothesenschäfte und -köpfe sowie Hüftpfannen. Sie ist Inhaberin des Europäischen Patents (EP) Nr. 0 038 908 mit dem Titel "Hüftgelenkprothese mit einem in den Markkanal des Oberschenkelknochens einzuzusetzenden Schaft". Dieses Patent wurde ihr am 14. August 1985 aufgrund der Anmeldung vom 11. Februar 1981 erteilt.
Ein Einspruch wurde am 18. September 1989 von der Einspruchsabteilung des Europäischen Patentamts und eine Beschwerde von der Beschwerdekammer am 26. März 1992 zurückgewiesen.
Das Patent ist am 11. Februar 2001 abgelaufen.
Der einzige unabhängige Patentanspruch (Anspruch 1) lautet wie folgt:
"1. Hüftgelenkprothese mit einem in den Markkanal
des Oberschenkelknochens einzusetzenden, in der
AP-Ebene gekrümmten Schaft mit posterior gelegenem
Krümmungsmittelpunkt, dadurch gekennzeichnet,
dass derSchaft im proximalen Bereich eine
Krümmung mit anterior gelegenem Krümmungsmittelpunkt
aufweist, während die Krümmung mit posterior
gelegenem Krümmungsmittelpunkt sich im distalen
Schaftbereich befindet.. "
Die Sulzer Medica AG (vormals Allo Pro AG bzw.
Sulzer Orthopädie AG) stellt ebenfalls Hüftgelenkprothesen her. Bis anfangs Juli 1997 hatte sie ihren Sitz in Baar, seither in Winterthur.
B.- Am 23. Juni 1994 reichte die Waldemar Link GmbH & Co. beim Kantonsgericht des Kantons Zug Klage gegen die Sulzer Medica AG ein mit dem Rechtsbegehren, der Beklagten unter Androhung der Straffolgen von <ref-law> zu verbieten, die mit "Système Emeraude" bezeichneten Hüftgelenkprothesen herzustellen, feilzuhalten, zu verkaufen oder in Verkehr zu bringen. Die Klägerin machte geltend, die Hüftgelenkprothese der Beklagten erfülle alle Merkmale des Anspruchs 1 ihres Patentes; es liege eine Patentverletzung vor, weshalb ihr ein Unterlassungsanspruch gemäss Patentgesetz zustehe.
Die Beklagte schloss auf Nichteintreten, eventuell Abweisung der Klage und verlangte widerklageweise, es sei die Nichtigkeit des schweizerischen Teils des Europäischen Patentes Nr. 0 038 908 festzustellen; eventuell beantragte sie die Feststellung, dass ihre Gelenkprothese "Système Emeraude" das Patent der Klägerin nicht verletze.
C.- Das Kantonsgericht ordnete eine Expertise betreffend die allfällige Nichtigkeit des Patents der Klägerin an und bezeichnete den Patentanwalt Dr. Thomas Ritscher als Gutachter. Dieser lieferte sein Gutachten am 16. April 1997 und eine Ergänzung zum Gutachten am 28. April 2000 ab.
Mit Urteil vom 3. September 2001 verwarf das Kantonsgericht die Einrede der Nichtigkeit des schweizerischen Teils des Europäischen Patentes Nr. 0 038 908 und wies die Widerklage insoweit ab.
D.- Die Beklagte hat gegen das Urteil des Kantonsgerichts Berufung eingereicht mit folgenden Anträgen:
"1. Es sei das Urteil aufzuheben und die Sache zur
Neubeurteilung an die Vorinstanz zurückzuweisen
mit der Auflage, dass neue Sachverständige zu bestellen
sind, nämlich ein erfahrener Patentanwalt
und ein chirurgisch tätiger Orthopäde, die gemeinsam
ein neues Gutachten zur Frage der Rechtsbeständigkeit
des Streitpatentes zu erstatten
haben;
2. Eventuell sei das Urteil aufzuheben und es sei
das Widerklagebegehren der Beklagten vom 14. Dezember
1994 auf Feststellung der Nichtigkeit des
schweizerischen Teils des europäischen Patentes
0 038 908 gutzuheissen.
3. Unter Kosten- und Entschädigungsfolgen zu Lasten
der Klägerin. "
Bezüglich des Eventualantrags (2) stellt die Beklagte zudem den Verfahrensantrag, es sei der technische Sachverhalt durch das Bundesgericht zu überprüfen und es seien zu diesem Zweck ein Patentanwalt und ein chirurgisch tätiger Orthopäde als Sachverständige zu bestellen (Art. 67 Ziff. 1 OG).
Die Klägerin schliesst auf Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1.- Mit dem angefochtenen Urteil hat die Vorinstanz den widerklageweise gestellten Hauptantrag abgewiesen. Sie hat über die Verletzungsklage der Klägerin noch nicht entschieden, sondern nur einen Teil der Rechtsbegehren beurteilt.
Beim angefochtenen Urteil handelte es sich deshalb nicht um einen Endentscheid im Sinne von Art. 48 OG, sondern um ein Teilurteil. Gegen Teilurteile kann Berufung erhoben werden, wenn die davon erfassten Begehren zum Gegenstand eines gesonderten Prozesses hätten gemacht werden können und deren Beurteilung für den Entscheid über die verbleibenden Begehren präjudiziell ist (<ref-ruling> E. 1a S. 409 mit Hinweisen).
Da im vorliegenden Fall beide Voraussetzungen erfüllt sind, kann auf die Berufung eingetreten werden.
2.- Die Beklagte stellt im Rahmen ihres als Eventualantrag bezeichneten Begehrens auf Gutheissung ihrer Widerklage und Nichtigerklärung des Streitpatents gestützt auf Art. 67 Ziff. 1 OG den Verfahrensantrag, es sei ein Sachverständigen-Team mit einer Oberexpertise zu beauftragen. Dabei weist sie insbesondere auf die fehlende Fachkunde des gerichtlichen Experten hin.
a) Patentansprüche können in tatsächlicher Hinsicht so einfach und anschaulich sein, dass sie sich ohne besondere Fachkunde beurteilen lassen (vgl. <ref-ruling> E. 2).
Dies ist jedoch die Ausnahme. In der Regel ist der Beizug von Fachpersonen für die Beurteilung technischer Fragen unerlässlich, wenn das Gericht nicht selbst fachkundig besetzt ist. Dies ergibt sich schon daraus, dass die Patentansprüche aus der Sicht des Fachmanns auszulegen sind, um die Neuheit und das Nichtnaheliegen der Erfindung im Vergleich zum vorbekannten Stand der Technik festzustellen (<ref-ruling> E. 3a mit Hinweisen). Aber auch die erforderliche Fachkunde eines Experten richtet sich nach den zur Beurteilung stehenden technischen Fragen; sind diese für Personen mit einer bestimmten fachtechnischen Grundausbildung allgemein verständlich und können die entscheidenden technischen Fragen schon gestützt darauf beantwortet werden, so bedarf es des Beizugs einer spezifisch in einem engen Fachgebiet ausgebildeten und tätigen Fachperson nicht. Dies trifft hier zu. Die Beklagte bemerkt selbst, dass die im Streitpatent beanspruchte Hüftgelenkprothese mit einer bestimmt definierten Doppelkrümmung sogar für technisch nicht gebildete Juristen "mit etwas Lesehilfe in der medizinischen Terminologie" ohne weiteres verständlich ist. Die Beklagte ist - wie sie ebenfalls bemerkt - auch zutreffend davon ausgegangen, dass sich der beigezogene, über allgemeine technische Kenntnisse verfügende Experte das für die fallbezogenen Fragen erforderliche Wissen auf geeignete Art und Weise beschaffen werde.
Dies hat der Experte denn auch im erforderlichen Umfang getan.
Weshalb das nötige Wissen nur durch den Beizug eines zusätzlichen Sachverständigen und nicht durch das vom Experten gewählte Vorgehen hätte verschafft werden können, ist entgegen der Behauptung der Beklagten nicht ersichtlich.
b) Die Sondervorschrift von Art. 67 Ziff. 1 OG gibt dem Bundesgericht die Möglichkeit, die tatsächlichen Feststellungen der kantonalen Instanz über technische Verhältnisse im Berufungsverfahren zu überprüfen und zu diesem Zweck die erforderlichen Beweismassnahmen zu treffen. Eine Überprüfung rechtfertigt sich jedoch nur, wenn die vorinstanzlichen Feststellungen ernsthaften Zweifeln unterliegen, insbesondere wenn sie unklar oder widersprüchlich sind oder auf irrtümlichen Überlegungen beruhen, weil die Vorinstanz oder der im kantonalen Verfahren beigezogene Sachverständige von falschen Rechtsbegriffen ausgegangen sind oder sonstwie die technischen Fragen nicht richtig gestellt haben (Urteil 4C.280/1998 vom 9. Dezember 1998, E. 2a, abgedruckt in sic! 1999 294; Urteil 4C.188/1988 vom 17. November 1989, E. 2a, abgedruckt in SMI 1990, 133 ff.; vgl. auch <ref-ruling> E. 3b S. 315; <ref-ruling> E. 2a S. 85). Die Beklagte behauptet zu Recht nicht, dass der Gutachter und ihm folgend die Vorinstanz die technischen Fragen nicht richtig gestellt haben.
Der Experte ist denn auch korrekt vorgegangen, indem er zunächst den Gegenstand des Patentanspruchs verdeutlichte, diesen Anspruch mit den vorbestehenden Veröffentlichungen verglich und auf dieser Grundlage Neuheit und erfinderische Tätigkeit ermittelt hat. Da im Übrigen die Feststellungen im angefochtenen Urteil, welche die Vorinstanz gestützt auf das Gutachten getroffen hat, weder unklar noch widersprüchlich sind, scheidet die Anwendung von Art. 67 Ziff. 1 OG aus. Aus dem selben Grund ist der Antrag auf Rückweisung der Sache zu neuer Entscheidung nach Einholung eines weiteren Gutachtens abzuweisen.
3.- Die Beklagte beanstandet am angefochtenen Urteil, dass von einem falschen Begriff der patentrechtlichen Neuheit ausgegangen und die Frage des Naheliegens der Erfindung nicht geprüft worden sei. Nach Ansicht der Beklagten wurde die vom Streitpatent beanspruchte Lösung durch einen von Prof. Henssge im September 1979 in Basel gehaltenen Vortrag neuheitsschädlich vorweggenommen oder lag doch dem Fachmann aufgrund des durch den Vortrag vermittelten Wissens nahe.
a) Die im Patent beanspruchte Lehre gilt nur unter der Voraussetzung nicht als neu, dass sie als solche in allen Merkmalen mit einer Vorveröffentlichung identisch war.
Nach geltendem Recht kommt der Neuheitsprüfung allerdings - wie die Beklagte selbst bemerkt - eher eine untergeordnete Bedeutung zu. Vielmehr geht es bei der Beurteilung der Patentfähigkeit einer Erfindung wesentlich um die Frage, ob sich die beanspruchte Lehre für den Fachmann in naheliegender Weise aus dem Stand der Technik ergibt bzw. ob sie auf einer erfinderischen Tätigkeit beruht (<ref-law>; Art. 56 EPÜ [Europäisches Patentübereinkommen, SR 0.232. 142.2]).
Entscheidend ist dabei, ob ein Fachmann nach all dem, was an Teillösungen und Einzelbeiträgen den Stand der Technik ausmacht, schon mit geringer geistiger Anstrengung auf die Lösung des Streitpatentes kommen kann oder ob es dazu eines zusätzlichen schöpferischen Aufwandes bedarf (<ref-ruling> E. 2a S. 488; <ref-ruling> E. 2 S. 72). Wird der streitigen Erfindung bloss eine Vorveröffentlichung entgegengehalten, die sich angeblich mit der gleichen Aufgabe befasst und die Lösung mit identischen technischen Mitteln aufgezeigt habe, so ist die Prüfung auf Neuheit oder Naheliegen vor allem eine Frage der Auslegung, die sich wiederum am Verständnis des Fachmanns aufgrund des damaligen Standes der Technik orientiert.
b) Die Vorinstanz hat die Tragweite der dem Fachpublikum durch den Vortrag von Prof. Henssge vermittelten Informationen mit Hilfe der Expertise festgestellt. Der genaue Wortlaut des im September 1979 im Rahmen einer Tagung in Basel gehaltenen, rund 5-minütigen Vortrags ist nicht nachgewiesen. Der Experte hat gestützt auf das von der Beklagten ins Recht gelegte Vortragsmanuskript und die dazu noch vorhandenen - offenbar mit einem Projektor gezeigten - Bilder die Informationen erschlossen, welche durch den Vortrag vermittelt wurden. Der Gutachter hat zutreffend geprüft, wie das fachkundige Publikum diese - rekonstruierten - mündlichen Informationen aufgrund der Kenntnisse im Rahmen des damaligen Standes der Technik verstanden hat. Dass der Experte aufgrund der vorhandenen Unterlagen zum Schluss gelangte, das damalige Fachpublikum habe den mündlichen Ausführungen und den Bilddarstellungen die spezifische Lehre des Streitpatents nicht zu entnehmen vermocht, beruht weder auf einer unzutreffenden Definition des massgebenden Fachmanns noch sonstwie auf einem unzutreffenden Begriff der erfinderischen Tätigkeit bzw. des Nichtnaheliegens der beanspruchten Lehre. Der Experte hat vielmehr in seinem Gutachten und bei der Beantwortung der Fragen im Ergänzungsgutachten plausibel dargelegt, dass das Fachpublikum aufgrund der damaligen Kenntnisse dem Vortrag von Prof. Henssge nur entnehmen konnte, dass der Prothesenschaft dem Verlauf des Markkanals möglichst gut angepasst werden sollte, ohne dass eine bestimmte Form des Schaftes - nämlich die im Streitpatent beanspruchte zweifache Krümmung - hinreichend deutlich erkennbar gewesen wäre. Wurde aber durch den Vortrag im Wesentlichen nur die Information vermittelt, dass die Form des Schaftes dem Verlauf des Markkanals des Oberschenkelknochens möglichst weitgehend entsprechen sollte, ohne dass deutlich die erstrebenswerte Form bekanntgegeben wurde, so hat auch unter Berücksichtigung der damals bekannten Formen von Prothesenschäften die im Streitpatent beanspruchte Lehre nicht nahe gelegen. Die Vorinstanz hat somit kein Bundesrecht verletzt, wenn sie sich in ihrem Urteil auf das eingeholte Gutachten gestützt und die Nichtigkeitseinrede abgewiesen hat.
4.- Aus diesen Gründen ist die Berufung abzuweisen und der angefochtene Entscheid zu bestätigen.
Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr der Beklagten aufzuerlegen (Art. 156 Abs. 1 OG). Diese hat die Klägerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen und das Urteil des Kantonsgerichts des Kantons Zug vom 3. September 2001 bestätigt.
2.- Die Gerichtsgebühr von Fr. 15'000.-- wird der Beklagten auferlegt.
3.- Die Beklagte hat die Klägerin für das bundesgerichtliche Verfahren mit Fr. 15'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Zug, 2. Abteilung, schriftlich mitgeteilt.
_
Lausanne, 31. Januar 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: