Sachverhalt:
A. Die X._ GmbH (Beschwerdeführerin) lancierte die Markenanmeldung 57993/2009 "MYPHOTOBOOK" für Dienstleistungen der Klasse 40 (Materialbearbeitung) nach dem Abkommen von Nizza über die internationale Klassifikation von Waren und Dienstleistungen für die Eintragung von Marken, revidiert in Genf am 13. Mai 1977 (SR 232.112.9). Mit Verfügung vom 24. Juni 2011 wies das Eidgenössische Institut für Geistiges Eigentum (IGE) das betreffende Eintragungsgesuch zurück. Es begründete die Rückweisung damit, dass es sich beim Zeichen "MYPHOTOBOOK" um eine nicht unterscheidungskräftige Kombination von "my" mit dem englischen Begriff "photobook" handle, die für die beanspruchten Dienstleistungen eine direkt beschreibende zweckbestimmende Angabe darstelle. Dem Zeichen fehle es in Verbindung mit Buchbindearbeiten der Klasse 40 an der konkreten Unterscheidungskraft, weshalb es dem Gemeingut im Sinn von Art. 2 lit. a MSchG zuzuschreiben sei und daher nicht zum Markenschutz zugelassen werden könne.
Die Y._ AG (Beschwerdegegnerin) ist Inhaberin der Schweizer Marke 552147 "myphotobook" für Waren und Dienstleistungen der Klassen 9, 16, 35, 38 und 42. Ein von der Beschwerdeführerin gegen diese Eintragung erhobener Widerspruch ist beim Harmonisierungsamt für den Binnenmarkt pendent.
B. Die Beschwerdeführerin beantragte erstmals mit Klage vom 4. November 2010 gegen die Beschwerdegegnerin, die Schweizer Marke 552147 sei für bestimmte Waren und Dienstleistungen im Schweizer Markenregister für die Klassen 9, 16, 35, 38 und 42 zu löschen. Mit Entscheid vom 4. April/27. Mai 2011 trat das Obergericht des Kantons Thurgau auf die Klage nicht ein.
Mit Eingabe vom 26. September 2011 erhob die Beschwerdeführerin erneut Klage beim Obergericht des Kantons Thurgau gegen die Beschwerdegegnerin mit folgenden Rechtsbegehren:
"1. Es sei die Schweizer Marke 552147 für folgende Waren und Dienstleistungen für nichtig zu erklären:
Klasse 9: Geräte zur Aufzeichnung, Übertragung und Wiedergabe von Bildern, Magnetaufzeichnungsträger
Klasse 16: Buchbinderartikel, Papier, Schreibwaren
Klasse 35: Elektronische Datenverarbeitung für Dritte, Ordnen, Speichern, Zusammenstellen von digitalen Daten
Klasse 38: Telekommunikation, Verschaffen von Zugang auf eine Datenbank zum Herunterladen von Informationen über elektronische Medien (Internet), Nachrichten- und Bildübermittlung mittels Computer
Klasse 42: Entwurf und Entwicklung von Computerhardware, Datensicherung, Bereitstellung und Implementierung von Computerprogrammen in Datennetzen und Netzwerken
2. Es sei der Beklagten zu verbieten, die Bezeichnung "myphotobook" für die Bewerbung oder den Betrieb einer Internet-Plattform zu verwenden, auf welcher die Plattform-Benutzer ihre Fotos hinaufladen und sich diese als physische Fotobücher zustellen lassen könnten."
Die Beschwerdeführerin brachte vor, sie habe den Gebrauch der Marke in der Schweiz über ihre Lizenznehmerin, die Z._ AG, A._, gemäss Online-Kooperationsvertrag vom 6. April 2005 aufgenommen. Durch das Angebot unter www.b_.de sei bereits im November 2004 eine eigene Tätigkeit erreicht worden. Im Mai 2005 sei dann die Seite www.c._.ch aufgeschaltet worden, wonach erste Bestellungen aus der Schweiz bei ihr eingegangen seien. Die Beschwerdeführerin fürchte, dass bei Rückweisung ihrer Markenanmeldung die Beschwerdegegnerin - gestützt auf ihre Schweizer Marke 552147 "myphotobook" - plötzlich über ein älteres, im Register eingetragenes Schutzrecht verfüge, das sie in der Erbringung oder dem Ausbau ihrer Dienstleistungen in der Schweiz behindern könnte.
Das Obergericht wies die Klage mit Entscheid vom 23. April 2012 bezüglich Ziffer 1 des Rechtsbegehrens (Nichtigkeitsbegehren) ab (Dispositiv-Ziffer 1). Weiter entschied es, dass mit Bezug auf Ziffer 2 des Rechtsbegehrens (Unterlassungsbegehren) ein Beweisverfahren durchgeführt werde (Dispositiv-Ziffer 2).
C. Die Beschwerdeführerin erhob Beschwerde in Zivilsachen mit dem Antrag, die Ziffer 1a des Entscheids des Obergerichts aufzuheben und das vorinstanzliche Klagebegehren 1 gutzuheissen. Eventuell sei der Entscheid aufzuheben und die Sache zu erneuter Beurteilung im Lichte der bundesgerichtlichen Erwägungen an das Obergericht zurückzuweisen.
Die Beschwerdegegnerin beantragt, auf die Beschwerde nicht einzutreten, eventualiter dieselbe vollumfänglich abzuweisen. Die Vorinstanz schliesst auf Abweisung der Beschwerde.
Die Parteien reichten Replik und Duplik ein.

Erwägungen:
1. Die Beschwerde richtet sich gegen Dispositiv-Ziffer 1 des Urteils des Obergerichts. Darin hat die Vorinstanz im Sinne eines Teilurteils abschliessend über das Begehren um Nichtigerklärung der CH-Marke 552147 "myphotobook" der Beschwerdegegnerin entschieden. Dieses Begehren konnte unabhängig vom noch hängigen (auf das UWG gestützten) Unterlassungsbegehren beurteilt werden. Die Beschwerde gegen Dispositiv-Ziffer 1 des Urteils des Obergerichts ist daher zulässig (Art. 91 lit. a BGG).
Es geht hier um eine Zivilrechtsstreitigkeit in Anwendung des MSchG (SR 232.11). Dafür sieht das Bundesrecht eine einzige kantonale Instanz vor (Art. 5 Abs. 1 lit. a ZPO). Die Beschwerde in Zivilsachen ist demnach unabhängig vom Streitwert zulässig (Art. 74 Abs. 2 lit. b BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinlänglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - grundsätzlich auf die Beschwerde einzutreten.
2. Die Beschwerdegegnerin beantragt Nichteintreten auf die Beschwerde, weil diese mangelhaft begründet sei.
2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4; <ref-ruling> E. 1.3.1; <ref-ruling> E. 3.2 S. 444).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f.).
2.2 Die Beschwerdegegnerin macht geltend, dass die Beschwerdeführerin in den Randziffern 11-23 der Beschwerdeschrift nahezu wörtlich ihre Ausführungen in den Randziffern 46-59 der Klage vom 26. September 2011 wiedergebe. Sie hält deshalb die Beschwerde für unzulässig und beantragt Nichteintreten.
Es trifft zu, dass die Beschwerdeführerin in den Randziffern 11-23 der Beschwerdeschrift nahezu wörtlich ihre Ausführungen in den Randziffern 47-59 der Klage vom 26. September 2011 wiedergibt, in denen sie den Standpunkt vertrat, die Marke der Beschwerdegegnerin habe für die beanspruchten Waren und Dienstleistungen einen direkt beschreibenden Charakter. Es stellt keine hinlängliche Beschwerdebegründung dar, wenn einfach Texte aus den kantonalen Rechtsschriften kopiert werden. Solche kopierten Passagen sind unbeachtlich, da darin von vornherein keine Auseinandersetzung mit den vorinstanzlichen Erwägungen liegen kann. Mit den aus der Klage nahezu wörtlich übernommenen Passagen vermag die Beschwerdeführerin demnach nicht rechtsgenüglich zu begründen, weshalb die Vorinstanz den beschreibenden Charakter zu Unrecht verneint haben soll. Auf diese Ausführungen ist nicht einzugehen.
Indessen gibt die Beschwerdeführerin diese Passagen aus der Klage in der Beschwerdeschrift wieder, um anschliessend der Vorinstanz vorzuwerfen, sie habe ihr rechtliches Gehör verletzt, weil sie sich mit diesen Vorbringen der Klage nicht auseinandergesetzt und damit den Entscheid ungenügend begründet habe. In diesem Kontext können die wiedergegebenen Klagepassagen als Beleg für die vorgebrachten Argumente berücksichtigt werden, mit denen sich die Vorinstanz nach Ansicht der Beschwerdeführerin nicht hinreichend befasst haben soll. Die Wiederholung von Passagen aus der Klage macht die Beschwerde demnach entgegen der Ansicht der Beschwerdegegnerin nicht unzulässig. Jedoch ist bei der Behandlung der erhobenen Rügen zu prüfen, ob die Beschwerdebegründung im Übrigen den vorstehend umschriebenen Anforderungen genügt.
3. Die Beschwerdeführerin begründete ihr Begehren um Nichtigerklärung der Schweizer Marke 552147 "myphotobook" der Beschwerdegegnerin zum einen damit, dass diese Bezeichnung für die beanspruchten Waren und Dienstleistungen der Klassen 9, 16, 35, 38 und 42 direkt beschreibend sei und daher als Gemeingut nicht schutzfähig sei (dazu die nachfolgende Erwägung 4). Zum anderen machte sie geltend, die Marke sei mangels eigener Gebrauchsabsicht der Beschwerdegegnerin, die lediglich die Beschwerdeführerin bei ihrem Marktauftritt habe behindern wollen, nichtig (dazu Erwägung 5).
Die Vorinstanz wies das Nichtigkeitsbegehren ab. Sie erkannte, dass die umstrittenen beanspruchten Waren und Dienstleistungen grundsätzlich in keinem direkten Zusammenhang mit Fotobüchern oder deren Bereitstellung stünden. In einer Eventualbegründung qualifizierte sie das Verhalten der Beschwerdeführerin als widersprüchlich und damit rechtsmissbräuchlich. Diese beanspruche in Deutschland für das Zeichen "MYPHOTOBOOK" für die gleichen Waren und Dienstleistungen Markenschutz, den sie aber gleichzeitig der Beschwerdegegnerin aus Überlegungen verweigern wolle, welche die Eintragungsfähigkeit an sich beträfen.
4. Als Gemeingut im Sinne von Art. 2 lit. a MSchG vom Markenschutz ausgeschlossen sind nach der bundesgerichtlichen Rechtsprechung namentlich beschreibende Zeichen, die sich in Angaben über die Art, Beschaffenheit, die Menge, die Bestimmung, den Wert oder sonstige Merkmale der gekennzeichneten Waren oder Dienstleistungen erschöpfen und daher die zu deren Identifikation erforderliche Kennzeichnungs- und Unterscheidungskraft nicht aufweisen (<ref-ruling> E. 2.3.2 S. 320; <ref-ruling> E. 5 S. 503). Der beschreibende Charakter solcher Hinweise muss vom angesprochenen Publikum ohne besondere Denkarbeit und ohne besonderen Fantasieaufwand unmittelbar erkennbar sein (BGE <ref-ruling> E. 5 S. 503; <ref-ruling> E. 5.1 S. 228; <ref-ruling> E. 1.5, je mit Hinweisen).
4.1 Die Beschwerdeführerin rügt eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV). Sie habe in der Klage eingehend dargelegt, weshalb die Marke der Beschwerdegegnerin für die beanspruchten Waren und Dienstleistungen beschreibend sei. Die Vorinstanz sei nicht im Einzelnen auf ihre Darlegungen eingegangen, sondern habe bloss pauschal festgehalten, dass die umstrittenen beanspruchten Waren und Dienstleistungen grundsätzlich in keinem direkten Zusammenhang mit Fotobüchern oder deren Bereitstellung stünden. Damit habe sie ihren Entscheid ungenügend begründet. Dieser sei überdies widersprüchlich. So habe die Vorinstanz festgestellt, dass es sich um Werkzeuge und Mittel handle, "die für eine grosse Anzahl von Einsatzmöglichkeiten zur Verfügung stehen"; damit habe die Vorinstanz implizit anerkannt, dass sie sich auch für personalisierte Fotobücher eigneten. Zudem habe die Vorinstanz nicht zu ihrem Argument Stellung genommen, dass eine Marke bereits dann nichtig sei, wenn sie bloss für einen Teil der beanspruchten Waren und Dienstleistungen beschreibend sei.
4.2 Es trifft zu, dass die Vorinstanz nicht im Einzelnen auf die Ausführungen in den Randziffern 47-59 der Klage vom 26. September 2011 eingegangen ist. Dazu war sie allerdings auch nicht verpflichtet. Die Begründungspflicht nach Art. 29 Abs. 2 BV verlangt nicht, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt (<ref-ruling> E. 5.1; <ref-ruling> E. 2.2.1 S. 188 mit Hinweisen). Diesen Anforderungen wird der angefochtene Entscheid gerecht, führt die Vorinstanz doch aus, weshalb sie den direkt beschreibenden Charakter der Marke der Beschwerdegegnerin für die beanspruchten Waren und Dienstleistungen verneint. Dass sie dabei Argumente der Beschwerdegegnerin und des IGE offenbar für richtig hielt und sie deshalb als ihre eigenen übernahm, tut keinen Abbruch daran, dass sie ihren Entscheid, wenn auch knapp, aber doch hinreichend begründete. Da sie überdies den direkt beschreibenden Charakter für alle beanspruchten Waren und Dienstleistungen verneinte, brauchte sie auch nicht zum Argument der Beschwerdeführerin Stellung zu nehmen, es genüge bereits, wenn der Gemeingutcharakter einem Teil der Waren und Dienstleistungen anhafte. Eine Verletzung der Begründungspflicht nach Art. 29 Abs. 2 BV liegt auch in diesem Punkt nicht vor.
4.3 In materieller Hinsicht könnte sich in diesem Zusammenhang fragen, ob nicht einzelne Waren und Dienstleistungen, die unter die beanspruchten Waren- und Dienstleistungskategorien bzw. Oberbegriffe nach dem Abkommen von Nizza fallen, dazu verwendet werden könnten, ein persönliches Fotoalbum herzustellen, so dass das Zeichen "myphotobook", das diesen Verwendungszweck ohne Fantasieaufwand erkennbar beschreibt, insoweit als beschreibend vom Markenschutz ausgenommen werden müsste, als es für die entsprechenden Oberbegriffe beansprucht wird (vgl. dazu CHRISTOPH WILLI, Kommentar zum MSchG, 2002, N. 13 zu Art. 2 MSchG; EUGEN MARBACH, Markenrecht, in: SIWR Bd. III/1, 2. Aufl. 2009, Rz. 213; Urteil des Bundesverwaltungsgerichts B-7245/2009 vom 29. Juli 2010 E. 4.3; ferner das Urteil 4A_429/2011 vom 23. Februar 2012 E. 9.1, sic! 7-8/ 2012 S. 457). Es erübrigt sich allerdings vorliegend, näher darauf einzugehen, da die Beschwerdeführerin in der Beschwerde nicht präzisiert, inwiefern die Vorinstanz eine negative Einschränkung des beanspruchten Waren- und Dienstleistungsverzeichnisses, sei es nach Klassen oder nach Oberbegriffen, hätte vornehmen müssen.
Auch im Übrigen zeigt die Beschwerdeführerin nicht rechtsgenügend auf, inwiefern die Beurteilung der Vorinstanz, dass der direkt beschreibende Charakter des beklagtischen Zeichens für die beanspruchten Waren und Dienstleistungen zu verneinen sei, bundesrechtswidrig wäre. Wie ausgeführt (Erwägung 2.2), können ihre blossen Wiederholungen aus der Klageschrift als Beschwerdebegründung nicht berücksichtigt werden. Was sie in der Beschwerde sonst zu diesem Thema ausführt, erschöpft sich in der blossen Behauptung, die Vorinstanz verletze Art. 2 lit. a MSchG, weil die Marke für "Leistungen" zum Schutz zugelassen werde, für die sie rein beschreibend und deshalb Gemeingut sei. Das blosse Beharren auf dem eingenommenen Standpunkt stellt keine rechtsgenügliche Begründung einer Bundesrechtswidrigkeit dar (Erwägung 2.1).
Sodann leidet der angefochtene Entscheid entgegen der Behauptung der Beschwerdeführerin nicht an einem Widerspruch. Die Vorinstanz bezog die beanstandete Feststellung, dass es sich um Werkzeuge und Mittel handle, "die für eine grosse Anzahl von Einsatzmöglichkeiten zur Verfügung stehen", auf die von der Beschwerdegegnerin für ihre Marke beanspruchten Buchbinderartikel der Klasse 16. Sie wollte mit dem Hinweis auf die vielfältige Einsatzmöglichkeit dieser Artikel - in Anlehnung an die Argumentation des IGE - bekräftigen, dass die unter Buchbinderartikel zusammengefassten Hilfsmittel in der Regel keinen individuellen Bedürfnissen angepasst seien, und somit die Bezeichnung "myphotobook" für Buchbinderartikel höchstens indirekt und nicht unmittelbar beschreibend sei. Daran ändert nichts, dass die betreffenden Buchbinderartikel auch zur Herstellung von personalisierten Fotobüchern verwendet werden können. Zu Recht hebt die Vorinstanz hervor, dass erst die Buchbinderarbeiten aus einem Fotobuch "ein auf mich zugeschnittenes Fotobuch" machten. Den Hilfsmitteln selber haftet indes kein direkt beschreibender Bezug zu "meinem persönlichen Fotobuch" an. Dies erkannte die Vorinstanz, ohne widersprüchlich zu argumentieren.
4.4 Da somit bereits die vorinstanzliche Hauptbegründung für die Abweisung des Nichtigkeitsbegehrens wegen Verstosses gegen Art. 2 lit. a MSchG der Prüfung standhält, erübrigt es sich zu beurteilen, ob auch die Eventualbegründung des Rechtsmissbrauchs die Abweisung zu stützen vermöchte. Entsprechend braucht auf die diesbezüglichen Vorbringen der Beschwerdeführerin nicht eingegangen zu werden.
4.5 Zusammenfassend erweist sich die Beschwerde als unbegründet bzw. kann darauf nicht eingetreten werden, soweit sie sich gegen die Verneinung der Nichtigkeit der beklagtischen Marke wegen deren angeblichen direkt beschreibenden Charakters für die beanspruchten Waren und Dienstleistungen richtet.
5. Nach der bundesgerichtlichen Rechtsprechung kann für registrierte Marken kein Schutz beansprucht werden, wenn diese nicht zum Zwecke des Gebrauchs hinterlegt worden sind, sondern in der Absicht, die Eintragung entsprechender Zeichen durch Dritte zu verhindern oder den Schutzumfang tatsächlich gebrauchter Marken zu vergrössern. Defensivmarken sind als nichtig zu betrachten (<ref-ruling> E. 1a S. 164 mit Hinweis; Urteile des Bundesgerichts 4A_429/2011 vom 23. Februar 2012 E. 3.2, in: sic! 7-8/2012 S. 457; 4C.31/2003 vom 1. Mai 2003 E. 2.1, in: sic! 4/2004 S. 325).
5.1 Die Beschwerdeführerin rügt auch in diesem Punkt eine Verletzung der Begründungspflicht nach Art. 29 Abs. 2 BV. Sie habe sich für ihr Rechtsbegehren Ziffer 1 auch auf den Nichtigkeitsgrund der fehlenden eigenen Gebrauchsabsicht berufen. Die Vorinstanz habe dazu aber keine Begründung geliefert.
5.2 Die Vorinstanz erwähnte bei der Wiedergabe der Parteivorbringen, dass die Beschwerdeführerin geltend mache, die Beschwerdegegnerin habe ihre Marke in der Schweiz in der klaren Absicht registrieren lassen, die Beschwerdeführerin bei ihrer Tätigkeit im Auf- und Ausbau des Schweizer Geschäfts zu behindern. Die beklagtische Marke sei ohne echte eigene Gebrauchsabsicht und nur mit der Absicht, die Beschwerdeführerin zu behindern, hinterlegt worden. In ihren rechtlichen Erwägungen zur Nichtigkeit der beklagtischen Marke (Rechtsbegehren Ziffer 1) äusserte sich die Vorinstanz zu diesem Punkt mit keinem Wort. Es fehlt jegliche Begründung. Dass die Vorinstanz das Verhalten der Beschwerdeführerin als rechtsmissbräuchlich qualifizierte, machte eine Begründung zum behaupteten Vorliegen einer Defensiv- oder Sperrmarke nicht entbehrlich, wie die Beschwerdegegnerin meint. Denn die Nichtigkeit einer Defensivmarke beruht nicht auf deren mangelnden Schutzfähigkeit wegen Gemeingutcharakters. Nur darauf bezog sich aber der vorinstanzliche Vorwurf des widersprüchlichen bzw. missbräuchlichen Verhaltens der Beschwerdeführerin. Die Vorinstanz hätte deshalb begründen müssen, weshalb sie die klägerischen Vorbringen betreffend Nichtigkeit der beklagtischen Marke wegen fehlender eigener Gebrauchsabsicht und blosser Behinderungsabsicht für nicht stichhaltig oder allenfalls unsubstanziiert halte. Indem sie jegliche Erwägung zu diesem - grundsätzlich entscheidrelevanten - Vorbringen der Beschwerdeführerin unterliess, verletzte sie die Begründungspflicht nach Art. 29 Abs. 2 BV.
Die Beschwerde ist in diesem Punkt begründet. Mit Blick auf die formelle Natur des Anspruchs auf rechtliches Gehör (<ref-ruling> E. 2.2; <ref-ruling> E. 2.2) folgt aus der Verletzung der Begründungspflicht die Aufhebung des angefochtenen Entscheids, soweit er angefochten ist (Dispositiv-Ziffer 1), ungeachtet dessen, ob das klägerische Vorbringen materiell begründet erscheint. Die Sache ist an die Vorinstanz zurückzuweisen, damit sie ihren Entscheid in Bezug auf die Abweisung der geltend gemachten Nichtigkeit der beklagtischen Marke wegen fehlender eigener Gebrauchsabsicht bzw. blosser Behinderungsabsicht begründe.
6. Die Beschwerde ist im Eventualbegehren gutzuheissen. Da die Beschwerdeführerin in Bezug auf die behauptete Nichtigkeit wegen Verstosses gegen Art. 2 lit. a MSchG unterliegt, mithin mit ihrer Beschwerde nur teilweise durchdringt, rechtfertigt es sich, die Kosten den Parteien je zur Hälfte zu auferlegen und die Parteikosten wettzuschlagen (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Dispositiv-Ziffer 1 des Entscheids des Obergerichts des Kantons Thurgau vom 23. April 2012 wird aufgehoben. Die Sache wird zu neuem Entscheid im Sinne der bundesgerichtlichen Erwägungen an das Obergericht zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden den Parteien je zur Hälfte auferlegt.
3. Es werden keine Parteienschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 27. Februar 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer