Sachverhalt: A. A.a. Die Stiftung A._ (Stiftung, Klägerin, Beschwerdeführerin) bezweckt unter anderem die Wahrung der Werke von Max Bill, deren Sammlung und Pflege, die Förderung der wissenschaftlichen Forschung, die Unterstützung der Verbreitung der Sammlung und die Wahrung der Urheberrechte. Die B._ AG (Möbelfabrik, Beklagte, Beschwerdegegnerin) bezweckt die Fabrikation und den Vertrieb von Möbeln. A.b. Mit Lizenzvertrag vom 7. April 1999 räumte die Stiftung der Möbelfabrik das ausschliessliche Recht ein, bestimmte von Max Bill entworfene Möbel herzustellen und zu vertreiben, sowie das nicht ausschliessliche Recht, die Marke "max bill" für diese Möbel zu verwenden. In der Präambel wird erwähnt, dass die Möbelfabrik mit Max Bill zwischen 1952 und 1955 einen Rahmen-Lizenzvertrag und verschiedene Objekt-Lizenzverträge geschlossen und damals einige der von Max Bill entworfenen Möbel in Serie hergestellt habe. Seit 1966 habe die Möbelfabrik einen Teil dieser Möbel wieder produziert. Für sämtliche Streitigkeiten aus dem Vertrag vereinbarten die Parteien Luzern als ausschliesslichen Gerichtsstand. Nachdem die im Lizenzvertrag vom 7. April 1999 vorgesehenen Mindeststückzahlen von der Möbelfabrik nicht erreicht wurden, machte die Stiftung von ihrem Recht Gebrauch, die exklusive Lizenz in eine einfache Lizenz umzuwandeln. Mit Schreiben vom 1. Oktober 2010 kündigte die Stiftung den Lizenzvertrag ordentlich auf den 31. Dezember 2011; am 11. Mai 2011 erklärte sie wegen "krasser" Vertragsverletzung die fristlose Kündigung. Die Möbelfabrik opponierte der fristlosen Kündigung und behauptete, auf den vertragsgegenständlichen Möbeln beständen soweit ersichtlich keine Schutzrechte. Die Stiftung erwiderte, die Möbel seien urheberrechtlich geschützt und sie werde nicht dulden, dass die Möbelfabrik solche nach der Aufbrauchfrist weiterhin herstellen und vertreiben werde. Die Möbelfabrik bot jedoch auf ihrer Internetseite weiterhin den von Max Bill entworfenen "Kreuzzargenstuhl" wie auch den von ihm ursprünglich für die Hochschule für Gestaltung (HfG) Ulm geschaffenen Barhocker ("HfG-Barhocker") an. Die Stiftung schloss in der Folge mit der Möbelmanufaktur C._ AG einen neuen exklusiven Lizenzvertrag zur Re-Edition der gesamten "Max-Bill-Kollektion". B. B.a. Mit Klage vom 25. Mai 2012 stellte die Stiftung beim Handelsgericht des Kantons St. Gallen unter anderem folgende Begehren (Ziffer 1 betrifft den Kreuzzargenstuhl) : " 2. Der Beklagten sei unter Androhung der Straffolge von Art. 292 StGB im Zuwiderhandlungsfall gegenüber ihren Organen zu untersagen, Stühle in der Form des von Max Bill entworfenen 'HfG Barhockers' selbst oder durch Dritte herzustellen oder zu vertreiben: 3. Die Beklagte sei zu verpflichten, der Klägerin über die Anzahl aller von ihr seit dem 1. Januar 2012 hergestellten und verkauften Stühle gemäss Ziffer 1. und 2. sowie über alle damit erzielten Umsätze und Gewinne Auskunft zu erteilen. 4. Die Beklagte sei zu verurteilen, der Klägerin eine nach dem Ergebnis der Auskunftserteilung gemäss vorstehendem Rechtsbegehren durch die Kl ägerin noch zu beziffernden oder durch das Gericht festzulegenden Betrag als finanzielle Wiedergutmachung zu bezahlen. 5. [Kosten]." Die Beklagte beantragte die Abweisung der Klage. B.b. Mit Urteil vom 30. November 2016 untersagte das Handelsgericht der Beklagten, Stühle gemäss Ziffer 1 der Rechtsbegehren herzustellen und verpflichtete diesbezüglich die Beklagte zur Auskunfterteilung im Sinne von Ziffer 3 der Rechtsbegehren. Ziffer 2 der Rechtsbegehren der Klägerin wies das Handelsgericht ab. Es hielt fest, dass Hocker seit Urzeiten bekannte Sitzmöbel seien. Die erste Herstellung eines HfG-Barhockers fällt danach zeitlich in die Mitte der 50er Jahre des letzten Jahrhunderts, wobei die vorliegend massgebende Fassung für die Expo 1964 in Lausanne überarbeitet wurde; der HfG-Barhocker zeichnet sich nach den Erwägungen des angefochtenen Urteils durch seine reduzierte Formgebung aus. Das Handelsgericht definierte das Konzept des Barhockers als Verbindung einer runden Sitzfläche mit leicht schräg gestellten Beinen und einem Ring, der die Konstruktion stabilisiert und gleichzeitig als Fussstütze dient; die Vorinstanz stellte fest, dass dieses Konzept zum Zeitpunkt der Entwicklung des HfG-Barhockers bekannt war und führte namentlich vier ältere Modelle an. Ausserdem verweist das Gericht auf einen Barhocker von Robin Day, der etwa in der gleichen Zeit wie der HfG-Barhocker, d.h. Ende der 50er, Anfang der 60er Jahre erstmals hergestellt wurde. Das Gericht schliesst aus dem Überblick, dass nahezu alle Bestandeselemente des HfG-Barhockers auf die eine oder andere Weise in älteren Modellen enthalten waren; es erachtet als letztlich unerheblich, ob die Hocker drei- oder vierbeinig ausgestaltet seien, da die gemeinsame Urform mit ihren schräg in das Sitzbrett eingepassten Beinstollen weitere Varianten gleichsam vorgebe, die vom Melkstuhl mit einem Bein bis zur vierbeinigen Ausführung führten. Unter Bezugnahme auf das Gerichtsgutachten verneint die Vorinstanz sodann, dass der HfG-Barhocker einen Stil wesentlich mitgeprägt habe oder sich deutlich von den damals bekannten Stilrichtungen unterscheide. Aufgrund der vorbekannten Modelle, die bereits alle wesentlichen Bestandteile des HfG-Barhockers aufgewiesen hätten, sei die Gestaltung des HfG-Barhockers derart stark eingeschränkt gewesen, dass für individuelle oder originelle Merkmale kein Raum mehr blieb, sei doch die Gestaltung des fraglichen Hockers entsprechend dem Zeitgeist auf das absolut Wesentliche reduziert gewesen. Nachdem im Zweifelsfall von einem rein handwerklichen Erzeugnis auszugehen sei, erfüllt der HfG-Barhocker nach den Erwägungen im angefochtenen Urteil die Anforderungen an den individuellen Charakter eines urheberrechtlich geschützten Werks nicht. Die Vorinstanz verneinte sodann ein unlauteres Verhalten der Beklagten. C. Mit Beschwerde in Zivilsachen beantragt die Klägerin im Wesentlichen, es sei ihre Klage vollumfänglich gutzuheissen und die Kosten des kantonalen Verfahrens seien entsprechend zu verlegen. Sie rügt, die Vorinstanz habe bundesrechtswidrig auf einen Vergleich mit dem Barhocker von Robin Day abgestellt, der nicht vorbekannt gewesen sei, sie habe zu Unrecht eine mosaikartige Betrachtungsweise angewandt, statt auf den Gesamteindruck abzustellen, habe bundesrechtswidrig eine deutliche Unterscheidung zu bestehenden Stilrichtungen verlangt und bundesrechtswidrig strengere Kriterien für Werke angewandter Kunst als für zweckfreie Kunst zugrunde gelegt. Sie bringt vor, eine korrekte Anwendung von Art. 2 URG hätte ergeben, dass der umstrittene HfG-Barhocker im Vergleich zum damals bekannten Formenschatz in Berücksichtigung der eingeschränkten Gestaltungsfreiheit die urheberrechtlich massgebende Individualität aufweise. Ausserdem rügt die Beschwerdeführerin, die Vorinstanz habe Art. 2 und aArt. 3 lit. d UWG verletzt, indem sie die lauterkeitsrechtliche Grundlage ihrer Ansprüche verneinte. Die Beschwerdegegnerin beantragt in ihrer Antwort die Abweisung der Beschwerde. Das Handelsgericht des Kantons St. Gallen verzichtet auf Vernehmlassung.