Sachverhalt:
A. Die X._ S.r.l. (Klägerin, Widerbeklagte, Beschwerdegegnerin) ist eine im italienischen Handelsregister eingetragene Gesellschaft mit beschränkter Haftung, die sich seit 1981 auf die Entwicklung von Abgaskatalysatoren, Auspufftöpfen und Auspuffkrümmern spezialisiert hat.
Das italienische Markenregisteramt erteilte am 10. März 2000 bzw. am 5. Februar 2003 den von der X._ S.r.l. hinterlegten Wort-/Bildmarken "XY._" (mit Wappen und Auspuff) und "XZ._" (mit dem Logo einer Autosilhouette) Markenschutz. Der Vertrieb ihrer Produkte erfolgte in der Schweiz von 2001 bis Mitte 2007 über die Q._ GmbH, einer von A._ (Beklagter, Widerkläger, Beschwerdeführer) kontrollierten Gesellschaft mit beschränkter Haftung.
Am 21. Juni 2007 hinterlegte die Q._ GmbH ohne Wissen und Zustimmung der X._ S.r.l. die Schweizer Marken Nr. rrr._ und Nr. sss._ beim Eidgenössischen Institut für Geistiges Eigentum, das diese am 11. November 2007 in das Markenregister eintrug. Die beiden Marken sind bis auf wenige Details identisch mit den von der X._ S.r.l. bereits in Italien registrierten Marken. Am 24. Juni 2008 wurden sie von der Q._ GmbH auf A._ übertragen. Am 22. Juli 2008 wurde über die Q._ GmbH der Konkurs eröffnet, am 1. Dezember 2008 wurde die Gesellschaft im Handelsregister gelöscht.
B. Am 7. Oktober 2010 klagte die X._ S.r.l. beim Obergericht des Kantons Thurgau gegen A._ und beantragte im Wesentlichen die Nichtigerklärung der beiden Schweizer Marken Nr. rrr._ und Nr. sss._, den Erlass eines Verbots der Verwendung entsprechender Zeichen, die Vernichtung gekennzeichneter Gegenstände und die Einziehung weiterer Gegenstände. Im Weiteren klagte sie auf Rechnungslegung sowie Schadenersatz bzw. Gewinnherausgabe.
A._ beantragte die Abweisung der Klage (Antrags-Ziffer 1) und erhob seinerseits die folgenden Widerklagebegehren:
"2. Es sei festzustellen, dass die Klägerin Urheberrechte des Beklagten verletzt und unlauteren Wettbewerb im Sinne von Art. 3 lit. d sowie Art. 5 UWG betreibt.
3. Es sei festzustellen, dass die Klägerin dem Beklagten aus dem Joint Venture mindestens die Hälfte der Erlöse der gemeinsamen Produkte herauszugeben hat.
4. Die Klägerin sei alternativ zu verpflichten, aus der Urheberrechtsverletzung dem Beklagten ab dem 1. Januar 2005 eine Lizenzgebühr von 10% aus den Erlösen der gemeinsamen Produkte, die in den Katalogen der Klägerin der Jahre 2005, 2007 sowie 2008 - 2009 vorzufinden sind, zu entrichten.
5. Es sei die Klägerin unter Androhung der Überweisung ihrer verantwortlichen Organe an den Strafrichter zur Bestrafung nach Art. 292 StGB zu verpflichten, dem Beklagten umfassend Rechenschaft abzulegen, insbesondere sämtliche Aufzeichnungen, Bücher und Belege herauszugeben, welche über die von ihr ab dem 1. Januar 2005 vereinnahmten Erlöse im Zusammenhang mit den unter Ziffer 4 genannten gemeinsamen Produkte, die in den Katalogen der Klägerin der Jahre 2005, 2007 sowie 2008 - 2009 vorzufinden sind, Aufschluss geben könnten.
6. Es sei die Klägerin zu verpflichten, dem Beklagten den sich aus der Abrechnung gemäss Ziffer 3, 4 und 5 ergebenden Betrag beziehungsweise einen nach Abschluss des Beweisverfahrens durch den Beklagten zu beziffernden Betrag, mindestens aber Fr. 50'000.00 nebst Zins zu 5% seit 1. Januar 2005 zu bezahlen.
..."
Mit Urteil vom 17. Oktober 2011 hiess das Obergericht des Kantons Thurgau die Klage teilweise gut, während es die Widerklage abwies (Dispositiv-Ziffer 1). Insbesondere erklärte es die beiden Marken Nr. rrr._ und Nr. sss._ für nichtig, sprach gegenüber dem Beklagten verschiedene Verbote aus und verfügte die Vernichtung bestimmter Gegenstände (Dispositiv-Ziffern 2-5).
C. Mit Beschwerde in Zivilsachen beantragt A._ dem Bundesgericht, es sei Ziffer 1 des Entscheids des Obergerichts des Kantons Thurgau vom 17. Oktober 2011 bezüglich der Abweisung der Widerklage aufzuheben und es sei die Widerklage gutzuheissen. Eventualiter sei das Verfahren zur Neubeurteilung und zur Durchführung eines allfälligen Beweisverfahrens an das Obergericht zurückzuweisen. Im Übrigen blieb das obergerichtliche Urteil unangefochten.
Sowohl die Beschwerdegegnerin als auch die Vorinstanz beantragen die Abweisung der Beschwerde.
D. Mit Verfügung vom 2. Mai 2012 wies das Bundesgericht das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung ab.
Erwägungen:
1.1 Der angefochtene Entscheid ist in einer zivilrechtlichen Streitigkeit (Art. 72 BGG) im Zusammenhang mit geistigem Eigentum bzw. nach dem Bundesgesetz gegen den unlauteren Wettbewerb (UWG) ergangen, für die ein Bundesgesetz (Art. 5 Abs. 1 lit. a und d ZPO) eine einzige kantonale Instanz vorsieht (Art. 75 Abs. 2 lit. a BGG). Der Beschwerdeführer ist mit seinen widerklageweise gestellten Anträgen vor der Vorinstanz unterlegen (Art. 76 Abs. 1 BGG) und der angefochtene Entscheid schliesst das Verfahren hinsichtlich dieser Anträge ab (Art. 90 BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
1.2 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht (einschliesslich Bundesverfassungsrecht) gerügt werden (Art. 95 lit. a BGG; BGE 134 III 379 E. 1.2). Nicht zu den in Art. 95 BGG vorgesehenen Rügegründen gehört hingegen die Verletzung kantonaler Verfahrensvorschriften, deren Anwendung und Auslegung vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht beurteilt werden kann (BGE 136 I 241 E. 2.4; 135 III 513 E. 4.3 S. 521; 134 III 379 E. 1.2 S. 382 f.). Auf das Verfahren vor der Vorinstanz fand noch das nunmehr aufgehobene Gesetz über die Zivilrechtspflege des Kantons Thurgau vom 6. Juli 1988 (aZPO/TG) Anwendung (vgl. Art. 404 Abs. 1 der Schweizerischen Zivilprozessordnung [ZPO; SR 272]).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 III 397 E. 1.4 S. 400; 134 III 102 E. 1.1). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5; 133 III 439 E. 3.2 S. 444).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (Urteile 4A_341/2011 vom 21. März 2012 E. 1.5.1; 4A_614/2011 vom 20. März 2012 E. 1.2; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
1.5 Der Beschwerdeführer stellt seinen rechtlichen Ausführungen eine eigene Sachverhaltsdarstellung voraus, in der er unter Verweis auf die Rechtsschriften im kantonalen Verfahren die Hintergründe des Rechtsstreits aus seiner Sicht schildert. Er weicht darin verschiedentlich vom vorinstanzlich verbindlich festgestellten Sachverhalt ab und ergänzt diesen, ohne jedoch eine Sachverhaltsrüge zu erheben. Es ist daher ausschliesslich auf die im angefochtenen Entscheid enthaltenen Sachverhaltsfeststellungen abzustellen.
Auch seine weitere Beschwerdebegründung verfehlt die gesetzlichen Begründungsanforderungen über weite Strecken. Seine Ausführungen sind überwiegend rein appellatorisch, indem er vor Bundesgericht unter Verweis auf die kantonalen Akten einen über die vorinstanzlichen Feststellungen hinausgehenden oder davon abweichenden Sachverhalt behauptet und gestützt darauf seine Widerklagebegehren als begründet ansieht. Damit verkennt der Beschwerdeführer, dass das Bundesgericht keine letzte Appellationsinstanz ist, die von den Parteien mit vollkommenen Rechtsmitteln angerufen werden könnte (vgl. Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 4342 Ziff. 4.1.4.5 zu Art. 97 E-BGG).
Appellatorisch sind die Ausführungen in der Beschwerde unter dem Titel "Allgemeines". So reicht es insbesondere nicht aus, wenn der Beschwerdeführer abweichend vom angefochtenen Entscheid behauptet, er hätte gemeinsam mit der Beschwerdegegnerin Produkte entwickelt, und der Vorinstanz ohne weitere Begründung vorwirft, sie verletze Art. 9 und Art. 29 Abs. 2 BV sowie Art. 530 ff. OR und Art. 8 ZGB, indem sie ihren Entscheid nicht darauf abstelle. Mit der blossen Behauptung, die Vorinstanz habe einseitig auf die Ausführungen der Beschwerdegegnerin abgestellt oder sie habe eine willkürliche antizipierte Beweiswürdigung vorgenommen, wird keine Verletzung verfassungsmässiger Rechte aufgezeigt. Ebenso wenig geht aus seinen Ausführungen hervor, welche Auswirkungen seine Ansicht zur rechtlichen Behandlung von Joint Ventures angesichts des fehlenden Nachweises einer gemeinsamen Entwicklung von Produkten auf das Ergebnis haben soll. Auch hinsichtlich seiner Rüge der Aktenwidrigkeit geht der Beschwerdeführer nicht darauf ein, inwiefern das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre.
Rein appellatorisch und damit unbeachtlich sind auch die Darlegungen in der Beschwerde unter dem Titel "Verletzung von Art. 530 ff. OR", mit denen der Beschwerdeführer unter Verweis auf seine Vorbringen im kantonalen Verfahren eine gemeinsame Entwicklung von Auspuffen behauptet und daraus ein gesellschaftsrechtliches Verhältnis ableiten will. Ohnehin lässt sich entgegen der in der Beschwerde vertretenen Ansicht weder aus dem vorgebrachten Umstand, dass er selber nicht in der Lage sei, Sportauspuffe zur Serienreife zu bringen, noch aus dem Erfordernis behördlicher Genehmigungen für Auspuffe darauf schliessen, dass der Beschwerdeführer von der Beschwerdegegnerin vertriebene Produkte entworfen hätte. Seine rechtlichen Ausführungen zur einfachen Gesellschaft stützen sich ausschliesslich auf den von ihm in unzulässiger Weise vorgetragenen Sachverhalt; daraus ist nicht einmal sinngemäss erkennbar, welche Bundesrechtssätze und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen, wenn die verbindlichen Feststellungen im vorinstanzlichen Entscheid zugrunde gelegt werden (Art. 105 Abs. 1 BGG).
2. Der Beschwerdeführer wirft der Vorinstanz in verschiedener Hinsicht eine Verletzung von Art. 8 ZGB sowie Art. 9 und Art. 29 Abs. 2 BV vor.
2.1 Er verkennt mit seinen Vorbringen, dass die Vorinstanz keine Beweislosigkeit angenommen, sondern es aufgrund der im Recht liegenden Akten als erwiesen erachtet hat, dass zwischen den Parteien kein Joint Venture-Verhältnis bestand. Wo der Richter in Würdigung von Beweisen zur Überzeugung gelangt, eine Tatsachenbehauptung sei bewiesen oder widerlegt, ist die Beweislastverteilung gegenstandslos und liegt Beweiswürdigung vor, die nicht durch Art. 8 ZGB geregelt ist (BGE 130 III 591 E. 5.4 S. 601 f. mit Hinweisen). Mit welchen Mitteln der Sachverhalt abzuklären und wie das Ergebnis davon zu würdigen ist, schreibt die Bestimmung dem Gericht nicht vor; sie schliesst selbst eine vorweggenommene Beweiswürdigung und Indizienbeweise nicht aus. Eine beschränkte Beweisabnahme verletzt Art. 8 ZGB daher nicht, wenn der Richter schon nach deren Ergebnis von der Sachdarstellung einer Partei überzeugt ist, gegenteilige Behauptungen also für unbewiesen hält (BGE 130 III 591 E. 5.4 S. 601 f.; 128 III 22 E. 2d S. 25; 122 III 219 E. 3c S. 223; je mit Hinweisen). Die Rüge des Beschwerdeführers, die Vorinstanz habe verschiedene von ihm angebotene Zeugen nicht angehört, stösst daher ins Leere.
Die Schlüsse, die das kantonale Gericht in tatsächlicher Hinsicht aus Beweisen und konkreten Umständen zieht, sind im Beschwerdeverfahren lediglich hinsichtlich ihrer Verfassungsmässigkeit überprüfbar, was der Beschwerdeführer mit seinen verschiedenen Vorbringen verkennt, in denen er Art. 8 ZGB ins Feld führt (vgl. BGE 128 III 22 E. 2d S. 25 f.; 127 III 248 E. 2a S. 253; 122 III 219 E. 3c S. 223). Er behauptet zwar vereinzelt eine Verletzung von Art. 9 und Art. 29 Abs. 2 BV, ohne dies jedoch zu begründen (vgl. Art. 106 Abs. 2 BGG). Im Weiteren bringt er vor, selbst die Beschwerdegegnerin habe im vorinstanzlichen Verfahren eine Zusammenarbeit im Zusammenhang mit Prototypen eingeräumt, zeigt jedoch keine verfassungswidrige Anwendung der im kantonalen Verfahrensrecht verankerten Verhandlungsmaxime auf.
Der Beschwerdeführer beruft sich im Übrigen zu Unrecht darauf, die Vorinstanz habe selber festgehalten, dass er und B._ in den letzten Jahren in der Entwicklung gut zusammengearbeitet hätten. Er verkennt, dass es sich dabei nicht um eine tatsächliche Feststellung der Vorinstanz handelt, sondern das Gericht lediglich aus einem vom Beschwerdeführer namens der Q._ GmbH verfassten Schreiben an die Beschwerdegegnerin zitiert. Auf die vorinstanzliche Feststellung, wonach er im fraglichen Schreiben ausdrücklich vom Produkt der Beschwerdegegnerin sprach, geht der Beschwerdeführer nicht ein. Die Rüge der Verletzung des Willkürverbots stösst ebenso ins Leere wie diejenige der Missachtung von Art. 8 ZGB.
2.2 Der Beschwerdeführer zeigt weder Willkür noch eine Gehörsverletzung auf, indem er vor Bundesgericht einmal mehr seine Vorbringen im Rahmen des kantonalen Verfahrens zur angeblichen Zusammenarbeit in der Entwicklung von Produkten wiederholt und der vorweggenommenen Beweiswürdigung der Vorinstanz die nicht weiter begründete Behauptung entgegenhält, die angebotenen Beweismittel seien in willkürlicher Weise nicht gewürdigt worden. Der Beschwerdeführer bringt zudem zu Unrecht vor, die Beschwerdegegnerin habe in Randziffer 29 ihrer Eingabe vom 31. März 2011 eingeräumt, dass er Fahrzeuge zur Verfügung gestellt habe, womit auch bestätigt sei, dass die Parteien in der Entwicklung zusammengearbeitet hätten. Die Beschwerdegegnerin bestätigt an der erwähnten Stelle lediglich, dass die Q._ GmbH ihr zur Überprüfung eines Prototyps ein Fahrzeug zur Verfügung stellte. Ausserdem geht aus den Ausführungen des Beschwerdeführers nicht hervor, inwiefern die von ihm behauptete Zusammenarbeit in der Entwicklung in eigenem Namen und nicht für die infolge Konkurses mittlerweile gelöschte Q._ GmbH erfolgt sein soll, deren Geschäftsführer er war.
Mit seinen übrigen Vorbringen zur angeblichen Zusammenarbeit bei der Entwicklung von Sportauspuffen unterbreitet der Beschwerdeführer dem Bundesgericht lediglich unter gelegentlichem Hinweis auf die Akten einen über die tatsächlichen Feststellungen im angefochtenen Entscheid hinausgehenden Sachverhalt und zieht daraus vom vorinstanzlichen Urteil abweichende Schlüsse. Damit verfehlt er die gesetzlichen Begründungsanforderungen an eine Sachverhaltsrüge.
2.3 Hinsichtlich der vom Beschwerdeführer behaupteten Urheberrechtsverletzung erwog die Vorinstanz, er habe nicht einmal ansatzweise den Nachweis erbracht, dass er der Urheber der fraglichen Fotografien sei. Mit dem Vorbringen, allein schon die Tatsache, dass er die entsprechenden Fotografien habe einreichen können, zeige auf, dass er die Aufnahmen gemacht habe, vermag er die vorinstanzliche Feststellung nicht als verfassungswidrig auszuweisen. Ebenso wenig zeigt er mit Aktenhinweisen auf, welche konkreten Beweise er im kantonalen Verfahren zur Frage der Urheberschaft der Fotografien angeboten hat. Eine Verletzung von Art. 8 ZGB sowie Art. 9 und Art. 29 Abs. 2 BV ist auch in diesem Zusammenhang nicht dargetan.
3. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 19. Juli 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann