Sachverhalt:
A. Am 22./24. Juli 2003 schlossen A._ (Beschwerdeführer) und die X._ AG (Beschwerdegegnerin) für die Umsetzung, Verwaltung und Überwachung des X._-Anlageplans "yyy._" vom 9. Juli 2003 einen "Abschluss- und Verwaltungsauftrag" ab. Der Beschwerdeführer hatte eine Einlage von EUR 300'000.-- zu leisten, die zusammen mit Fremdkapital in gleicher Höhe einerseits in eine "Anlage in With Profit Bonds" (EUR 500'000.--) und andererseits in Aktien- und Obligationenfonds (EUR 100'000.--) zu investieren war. Das (prognostizierte) Anlageziel war die Verdoppelung der investierten Eigenmittel von EUR 300'000.-- während der festen Laufzeit von zehn Jahren. Für die Fremdfinanzierung nahm der Beschwerdeführer bei der Privatbank "Z._ AG" ein Darlehen von EUR 300'000.-- auf und unterhielt bei dieser Bank ein Wertschriftendepot, wobei seine Aktien- und Obligationenfonds von der "L._ AG" verwaltet wurden. Am Ende der Laufzeit sollte die Versicherungspolice verkauft werden, und nach Rückzahlung des Bankkredits war dem Beschwerdeführer der Vermögensüberschuss auf das Konto bei der kreditierenden Bank auszuzahlen.
Die Beschwerdegegnerin legte am 29. September 2003 EUR 500'000.-- bei der M._ Assurance ("M._"), in einem "G._ Bond" an, wobei der Beschwerdeführer den dieser Anlage zugrunde liegenden Versicherungsvertrag selbst mit der M._ abschloss. Zur Bezahlung von Darlehenszinsen und Bankspesen erhielt der Beschwerdeführer jährlich EUR 6'500.--. Die Gebühren bei der M._ betrugen 1,2 % im Jahr beziehungsweise 6 % für fünf Jahre.
Per 30. Januar 2008 wurde die Anlage im Betrag von nunmehr EUR 652'000.-- durch Vermittlung des englischen Brokers "N._" bei der "O._", in Fondsanteile neu angelegt ("zzz._ Fund"). Bei dieser "Switch-Aktion" wurden dem Beschwerdeführer 103.5 % seines von der M._ eingebrachten Investments gutgeschrieben, d.h. Fondsanteile im Wert von EUR 674'820.-- (54'137,184 Anteile à EUR 12.465), was einer Einmalprämie von EUR 652'000.-- zuzüglich eines Sonderbonus von 3.5 % oder EUR 22'820.-- entsprach. Neu hatte der Beschwerdeführer bei O._ eine Kapitalgarantie bzw. einen Kapital- und Bonusschutz (Schlussbonus der M._ von netto EUR 109'706.08). Für dieses Investment bezahlte O._ dem Broker N._ im Februar 2008 einmalig eine Kommission von EUR 44'010.-- (6.75 % von EUR 652'000.--) zuzüglich 0.1 % des durchschnittlichen monatlichen Werts des Bonds während der nächsten 20 Jahre.
B. Am 21. Juli 2009 klagte der Beschwerdeführer gegen die Beschwerdegegnerin beim Bezirksgericht Frauenfeld auf Rechenschaftsablegung und Zahlung des sich aus der Abrechnung ergebenden bzw. eines nach durchgeführtem Beweisverfahren durch den Beschwerdeführer zu beziffernden Betrages, mindestens aber EUR 30'000.-- nebst Zins. Die Beschwerdegegnerin verlangte widerklageweise im Hauptantrag die Zahlung von EUR 30'228.60 nebst Zins.
Der Beschwerdeführer begründete seine Klage damit, die N._ habe der Beschwerdegegnerin im Zusammenhang mit der Neuanlage des Beschwerdeführers bei O._ eine Provision bezahlt. Die Beschwerdegegnerin verweigere jedoch jegliche Auskunft über die Höhe der vereinnahmten Provision und ob sie im Zusammenhang mit der Switch-Aktion allenfalls weitere Zahlungen erhalten habe oder erhalte. Er verlangte die Herausgabe der erhaltenen Zahlungen an ihn. Die Beschwerdegegnerin machte mit ihrer Widerklage Schadenersatz zufolge Kündigung zur Unzeit sowie ein anteiliges Erfolgshonorar geltend, das bei Beendigung des Vertrags geschuldet sei. Das Bezirksgericht wies mit Urteil vom 19. April 2010 Klage und Widerklage ab.
Gegen dieses Urteil erhoben beide Parteien Berufung an das Obergericht des Kantons Thurgau. Dieses bestätigte mit Entscheid vom 10. Februar 2011 die Abweisung der Klage. Hingegen verpflichtete es den Beschwerdeführer in teilweiser Gutheissung der Berufung der Beschwerdegegnerin zur Zahlung von Fr. 10'880.-- nebst Zins an die Beschwerdegegnerin. Im Übrigen wies es die Widerklage ab.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts betreffend Forderung aus Auftrag sei aufzuheben. Die Widerklage sei abzuweisen. Die Beschwerdegegnerin sei unter Androhung der Überweisung ihrer verantwortlichen Organe an den Strafrichter zur Bestrafung nach Art. 292 StGB zu verpflichten, ihm "umfassend Rechenschaft abzulegen, insbesondere sämtliche Aufzeichnungen, Bücher und Belege herauszugeben, welche über die von ihr vereinnahmten Honorare, Kommissionen, Provisionen, Retrozessionen und/oder sonstigen finanziellen Vergütungen im Zusammenhang mit der Anlage von EUR 652'000.-- des Beschwerdeführers bei O._ (Anlage in zzz._ Fund), Aufschluss geben könnten. Es sei die Beschwerdegegnerin zu verpflichten, ihm den sich aus vorstehender Abrechnung ergebenden Betrag bzw. einen nach Abschluss des Beweisverfahrens durch den Beschwerdeführer zu beziffernden Betrag, mindestens aber EUR 30'000.-- (bzw. Gegenwert in einer anderen Währung) nebst Zins zu 5 % seit 8. Dezember 2008 zu bezahlen. Eventuell sei der Prozess im Sinne der Erwägungen des Bundesgerichts und zur Durchführung eines allfälligen Beweisverfahrens an das Obergericht, eventuell an das Bezirksgericht zurückzuweisen.
Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit auf sie einzutreten sei. Die Vorinstanz schliesst unter Verzicht auf eine Vernehmlassung auf Abweisung der Beschwerde.
Mit Präsidialverfügung vom 1. September 2011 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.
Erwägungen:
1. Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz im Sinne von Art. 75 Abs. 2 BGG. Sodann übersteigt der Streitwert die Grenze nach Art. 74 Abs. 1 lit. b BGG. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und 106 Abs. 2 BGG) - einzutreten.
2. 2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1; 133 III 439 E. 3.2).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1).
Diese Begründungsanforderungen gelten auch für die Beschwerdeantwort, wenn darin Erwägungen der Vorinstanz beanstandet werden, die sich für die im kantonalen Verfahren obsiegende Partei ungünstig auswirken können (Urteil 4A_438/2010 vom 15. November 2010 E. 1.2 in fine, nicht publ. in: BGE 136 III 545; Urteil 4A_347/2009 vom 16. November 2009 E. 4.1 in fine, nicht publ. in: BGE 136 III 96).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 135 III 397 E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (vgl. BGE 136 II 508 E. 1.2; 135 I 19 E. 2.2.2; 133 II 249 E. 1.4.3 S. 255; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3).
3. Die Vorinstanz (wie schon das Bezirksgericht) qualifizierte das Vertragsverhältnis der Parteien ("Abschluss- und Verwaltungsauftrag") als Auftrag im Sinne von Art. 394 ff. OR. Der Beschwerdeführer stimmt dem zu. Demgegenüber beharrt die Beschwerdegegnerin auf ihrer Ansicht, das Vertragsverhältnis sei ein Innominatkontrakt und ein Dauerschuldverhältnis, auf das Werkvertragsrecht Anwendung finde. Ihre diesbezüglichen Ausführungen können nicht als rechtsgenügliche Begründung dieses Einwands betrachtet werden (vgl. Erwägung 2.1 in fine), wiederholt sie damit doch lediglich ihre schon im kantonalen Verfahren vertretenen Argumente, ohne auf die Erwägungen der Vorinstanz einzugehen, die sich einlässlich mit der Vertragsqualifikation und der diesbezüglichen Argumentation der Beschwerdegegnerin auseinandersetzte. Fehl geht insbesondere das Hauptargument der Beschwerdegegnerin, es gelange Werkvertragsrecht zur Anwendung, weil ein Erfolgshonorar vereinbart worden und der Werkvertrag der Grundvertrag für "Erfolgsverträge" schlechthin sei, unabhängig davon, ob es sich um ein körperliches oder unkörperliches Werk handle. Wie die Vorinstanz zutreffend entgegnete, war vorliegend kein Erfolg geschuldet. Das von der Beschwerdegegnerin prognostizierte Anlageziel, die Verdoppelung der investierten Eigenmittel, bedeutet keinen von ihr garantierten Arbeitserfolg, sondern bildet - falls es überschritten werden sollte - lediglich den Ausgangspunkt für ein "Erfolgshonorar" auf dem darüber hinaus erreichten Betrag.
Mangels hinlänglicher Begründung ist auf den Einwand der Beschwerdegegnerin nicht weiter einzugehen. Demnach bleibt es auch im bundesgerichtlichen Verfahren bei der Annahme, dass die Parteien einen Auftrag im Sinne von Art. 394 ff. OR abgeschlossen haben.
4. Nach Art. 400 Abs. 1 OR ist der Beauftragte verpflichtet, auf Verlangen jederzeit über seine Geschäftsführung Rechenschaft abzulegen und alles, was ihm infolge derselben aus irgendeinem Grund zugekommen ist, zu erstatten. Die Ablieferungspflicht betrifft neben denjenigen Vermögenswerten, die der Beauftragte direkt vom Auftraggeber zur Erfüllung des Auftrags erhält, auch indirekte Vorteile, die dem Beauftragten infolge der Auftragsausführung von Dritten zukommen. Behalten darf der Beauftragte nur, was er lediglich bei Gelegenheit der Auftragsausführung, ohne inneren Zusammenhang mit dem ihm erteilten Auftrag, von Dritten erhält. Zu den indirekten Vorteilen des Beauftragten gehören unter anderem sogenannte Retrozessionen bzw. Rückvergütungen. Darunter werden namentlich Zahlungen verstanden, die dem Vermögensverwalter gestützt auf eine entsprechende Vereinbarung mit der Depotbank aus vereinnahmten Gebühren zufliessen. Diese fallen im Zusammenhang mit der Verwaltung des Vermögens an und unterliegen daher der Herausgabepflicht nach Art. 400 Abs. 1 OR (BGE 137 III 393 E. 2.1; 132 III 460 E. 4.1 mit Hinweisen).
Nach der Rechtsprechung des Bundesgerichts ist die Pflicht zur Herausgabe im Sinne von Art. 400 OR nicht zwingend. Der Auftraggeber kann auf die Ablieferung bestimmter Werte verzichten. Dabei ist nicht nur ein nachträglicher Verzicht auf die Herausgabe bereits erlangter Vorteile zulässig. Die Parteien können grundsätzlich auch vereinbaren, dass der Auftraggeber auf die Ablieferung bestimmter künftig anfallender Werte verzichtet. Die Gültigkeit eines solchen Verzichts setzt jedoch voraus, dass der Auftraggeber über die zu erwartenden Retrozessionen vollständig und wahrheitsgetreu informiert ist, und dass sein Wille, auf deren Ablieferung zu verzichten, aus der Vereinbarung entsprechend deutlich hervorgeht (BGE 137 III 393 E. 2.2 S. 396; 132 III 460 E. 4.2 S. 465 f. mit Hinweisen).
In BGE 137 III 393 hat das Bundesgericht die Voraussetzungen eines ausdrücklichen Verzichts des Auftraggebers auf die Herausgabe von Rückvergütungen, die dem beauftragten Vermögensverwalter zufliessen, präzisiert. Dabei führte es aus, die sich aus der eigentlichen Fremdnützigkeit des Auftrags ergebenden Schranken seien gewahrt, sofern der Auftraggeber den Umfang sowie die Berechnungsgrundlagen der Retrozessionen kennt, die es ihm erlauben, die Kostenstruktur des Vermögensverwaltungsmandats zu erfassen sowie die damit verbundenen Interessenkonflikte des Vermögensverwalters zu erkennen, und er im Wissen darum dem konkreten Entschädigungsmodell zustimmt. Damit ein Vorausverzicht auf die Ablieferung gültig sei, müsse der Auftraggeber demnach die Parameter kennen, die zur Berechnung des Gesamtbetrags der Retrozessionen notwendig seien und einen Vergleich mit dem vereinbarten Vermögensverwaltungshonorar erlaubten (E. 2.4). Inwieweit eine aktive Aufklärung erforderlich sei, damit die Kenntnis des Auftraggebers hinsichtlich der Retrozessionen für einen Verzicht ausreiche, sei im Einzelfall zu bestimmen, wobei auch der Geschäftserfahrenheit des Auftraggebers Rechnung zu tragen sei (E. 2.5). Im konkreten Fall wurde als nicht hinreichend angesehen, dass die geschäftserfahrene Auftraggeberin die Begrenzung der Retrozessionen durch die maximale Höhe der vereinnahmten Transaktionskosten sowie die übliche, durchschnittlich erzielte Bruttomarge im Vermögensverwaltungsgeschäft kannte (E. 2.6).
5. Der Abschluss- und Verwaltungsauftrag (AVA) der Parteien bestimmt in Ziffer 3.1 Folgendes:
"Sämtliche Beratungskosten und -spesen für die Umsetzung des Anlageplans "yyy._" sind mit der Abschlussprovision, welche X._ von der Versicherungsgesellschaft erhält, abgegolten."
5.1 Die Vorinstanz erwog, die Beschwerdegegnerin habe am 29. September 2003 EUR 500'000.-- bei der "M._" in einem "G._ Bond" angelegt, wobei der Beschwerdeführer den dieser Anlage zugrunde liegenden Versicherungsvertrag selbst mit der M._ abgeschlossen habe. In welcher Höhe sich die Provisionen beliefen, welche die Beschwerdegegnerin für die Zuführung des Kunden bei Abschluss des Vertrags (und allenfalls während der Dauer der Versicherung) erhalten habe, sei nicht bekannt. Zwischen den Parteien sei aber unbestritten, dass diese von Ziffer 3.1 AVA umfasst gewesen seien und daher der Beschwerdegegnerin zur Abgeltung der Beratungs- und Abschlusskosten zugestanden hätten.
Sie erwog weiter, da der Vertrag generell von der "Versicherungsgesellschaft" im Singular spreche, sei davon auszugehen, dass die Parteien lediglich den Abschluss einer einzigen fremdfinanzierten Lebensversicherung beabsichtigt hätten. Der Wechsel zu einer anderen Versicherung sei (dementsprechend) nicht ausdrücklich geregelt worden. Die Vorinstanz nahm insoweit eine Vertragslücke an. In Abwägung der Interessenlage der Parteien gelangte sie zum Ergebnis, dass die Parteien, wenn sie beim Abschluss des AVA den Wechsel der Anlage bereits bedacht hätten, die Folgeanlagen gleich behandelt hätten wie die erste Anlage; Ziffer 3.1 AVA sei folglich dahingehend zu verstehen, dass bei jedem Abschluss einer Versicherungspolice die Beratungs- und Abschlusskosten der Beschwerdegegnerin mit der von der Versicherungsgesellschaft (allenfalls unter Zwischenschaltung eines Brokers) erhaltenen Abschlussprovision abgegolten seien und der Beschwerdeführer der Beschwerdegegnerin bei Beendigung des Auftrags ausser einem allfälligen Erfolgshonorar nichts schulde.
5.2 Der Beschwerdeführer ist der Auffassung, die Vorinstanz habe einen Anspruch auf Herausgabe der im Zusammenhang mit dem Wechsel der Versicherung erhaltenen Provision zu Unrecht abgelehnt. Er rügt zunächst eine Verletzung von Art. 18 OR.
Seiner diesbezüglichen Kritik kann nicht gefolgt werden. Die Vorinstanz ging entgegen der Rüge des Beschwerdeführers bei der Auslegung von Ziffer 3.1 AVA vom Wortlaut aus und berücksichtigte gerade, dass dort von "Versicherungsgesellschaft" in der Einzahl gesprochen wird. Wie gesehen leitete sie daraus wie auch aus dem Umstand, dass im ganzen Vertrag lediglich von der "Versicherungsgesellschaft" im Singular die Rede ist, ab, dass die Parteien ursprünglich nur vom Abschluss eines einzigen Versicherungsvertrags ausgegangen seien. Einen Wechsel hätten sie nicht bedacht und demnach auch nicht geregelt. Diese Auffassung ist denn auch richtig: In der Tat spricht gerade der Wortlaut des AVA für die Annahme der Vorinstanz, dass betreffend den erfolgten Wechsel der Versicherung eine Vertragslücke vorliegt. Gemäss Präambel besteht der Anlageplan "yyy._" aus "einer kombinierten, gebundenen Vermögensanlage auf der Basis einer teilweise fremdfinanzierten Lebensversicherung mit periodischen Kapitalbezügen sowie Aktien- und Obligationenfonds". Mit der Anlage von EUR 500'000.-- bei der M._ in einem "G._ Bond" und dem Abschluss des dieser Anlage zugrunde liegenden Versicherungsvertrags mit der M._ wurde der Anlageplan umgesetzt. Nur die mit dieser Umsetzung anfallenden Beratungs- und Abschlusskosten sollten nach der klaren Bestimmung von Ziffer 3.1 AVA mit der Abschlussprovision von M._ abgegolten sein. Demgegenüber ergeben sich aus dem AVA keine Anhaltspunkte für die Behauptung des Beschwerdeführers, dass durch die Abschlussprovision der M._ sämtliche Beratungsdienstleistungen und Spesen abgedeckt gewesen seien, die in den nächsten 10 Jahren anfallen würden. Der Anlageplan sah keine Neuanlage in den Folgejahren vor. Es kann daher auch nicht angenommen werden, die später dann doch erfolgte Switch-Aktion sei bereits im Voraus, durch die Abschlussprovision der M._, entschädigt gewesen. Die Vorinstanz ging daher zu Recht von einer Vertragslücke betreffend den Wechsel der Versicherung aus.
5.3 Der Beschwerdeführer ist für den Fall der Annahme einer Vertragslücke der Meinung, diese müsse mit dispositivem Recht gefüllt werden. Zur Anwendung käme Art. 400 Abs. 1 OR. Demnach hätte die Beschwerdegegnerin die von der N._ empfangene Provision abzuliefern, da es an einer rechtsgenügenden Verzichtserklärung mangle.
Ist ein lückenhafter Vertrag zu ergänzen, so hat der Richter - falls dispositive Gesetzesbestimmungen fehlen - zu ermitteln, was die Parteien nach dem Grundsatz von Treu und Glauben vereinbart hätten, wenn sie den nicht geregelten Punkt in Betracht gezogen hätten. Bei der Feststellung dieses hypothetischen Parteiwillens hat er sich am Denken und Handeln vernünftiger und redlicher Vertragspartner sowie an Wesen und Zweck des Vertrages zu orientieren (BGE 115 II 484 E. 4b; 111 II 260 E. 2a; je mit Hinweisen; vgl. auch WOLFGANG WIEGAND, in: Basler Kommentar, Obligationenrecht, 5. Aufl. 2011, N. 72 zu Art. 18 OR). Das Ergebnis dieser normativen Tätigkeit überprüft das Bundesgericht zwar frei, aber mit einer gewissen Zurückhaltung (vgl. BGE 129 III 380 E. 2 S. 382; 127 III 300 E. 6b), da die Vertragsergänzung regelmässig mit richterlichem Ermessen verbunden ist. Verbindlich sind dagegen Feststellungen der Vorinstanz über Tatsachen, die bei der Ermittlung des hypothetischen Willens in Betracht kommen (BGE 115 II 484 E. 4b mit Hinweisen).
Die von den Parteien beim Abschluss des AVA nicht bedachte, später aber doch erfolgte Switch-Aktion wirft zwei Fragen auf, die im AVA nicht geregelt und daher in richterlicher Lückenfüllung zu beantworten sind: Zum einen diejenige nach dem Verbleib der bei der Switch-Aktion von der Beschwerdegegnerin vereinnahmten Provision, namentlich ob dieselbe in Anwendung von Art. 400 Abs. 1 OR an den Beschwerdeführer herauszugeben sei. Zum anderen stellt sich die Frage, wie der Beschwerdeführer der Beschwerdegegnerin ihre im Zusammenhang mit dem Versicherungswechsel entstandenen Beratungs- und Abschlusskosten zu entgelten hat. Zu dieser zweiten, die Honorierung der beauftragten Beschwerdegegnerin betreffenden Frage existiert ebenfalls dispositives Gesetzesrecht, nämlich Art. 394 Abs. 3 OR. Beide der richterlichen Lückenfüllung anheim stehenden Punkte können und müssen demnach unter Heranziehung des dispositiven Rechts geregelt werden. Dies macht der Beschwerdeführer zu Recht geltend.
Die Vorinstanz nahm an, dass die Parteien, wenn sie beim Abschluss des AVA den Wechsel der Anlage bedacht hätten, dafür die gleiche Regelung wie in Ziffer 3.1 AVA getroffen hätten, mithin, dass der Beschwerdeführer mit dem Abschluss des AVA rechtsgültig auf die Abschlussprovision der Versicherungsgesellschaft verzichtet beziehungsweise akzeptiert habe, dass dieselbe als Entgelt für den Beratungs- und Abschlussaufwand der Beschwerdegegnerin verwendet würde. Die Vorinstanz verknüpfte demnach die beiden oben genannten Fragen und beantwortete sie dahingehend, dass der Beschwerdeführer die Beschwerdegegnerin für ihre bei der Switch-Aktion entstandenen Beratungs- und Abschlusskosten in der Weise zu honorieren habe, dass er ihr die erhaltene Provision belasse und auf deren Herausgabe verzichte.
Diese Lückenfüllung kann nicht geschützt werden. Wie der Beschwerdeführer zu Recht rügt, übergeht sie das vorhandene dispositive Recht, gestützt auf das der Vertrag ergänzt werden kann und das vorliegend für die Vertragsergänzung nach dem hypothetischen Parteiwillen keinen Raum lässt:
Nach Art. 394 Abs. 3 OR ist eine Vergütung zu leisten, wenn sie verabredet oder üblich ist. Vorliegend hielt die Vorinstanz zutreffend fest, dass die Dienstleistungen der Beschwerdegegnerin in der Finanz- und Versicherungsbranche üblicherweise entgeltlich sind. Betreffend die Höhe des Entgelts ist indessen nicht dargetan, dass die Einbehaltung von Provisionen der Versicherungsgesellschaften eine übliche Honorarabrede sei. Solches wurde auch in Bezug auf Retrozessionen im Rahmen von Vermögensverwaltungsverträgen verneint (BGE 132 III 460 E. 4.3). Besteht - wie hier - zur Höhe der dem Beauftragten geschuldeten Vergütung weder eine gesetzliche Regelung noch eine Vereinbarung oder Verkehrsübung, so ist sie vom Gericht nach allgemeinen Grundsätzen festzusetzen, d.h. sie muss den erbrachten Leistungen objektiv angemessen sein (BGE 101 II 109 E. 4, bestätigt in BGE 135 III 259 E. 2.2 sowie 117 II 282 E. 4c S. 284). Dementsprechend hätte die Vorinstanz ermitteln müssen, welche Vergütung dem Beratungs- und Abschlussaufwand der Beschwerdegegnerin angemessen ist, der ihr im Zusammenhang mit der Switch-Aktion entstanden ist. Dabei ist namentlich das Vorbringen des Beschwerdeführers zu berücksichtigen, dass dieser Aufwand in keinem Verhältnis zur Höhe der zweiten Provision stehe.
Was die Herausgabe dieser Provision anbelangt, scheidet nach dem Gesagten eine Vertragsergänzung entsprechend der Klausel gemäss Ziffer 3.1 AVA aus. Vielmehr ist die Provision in Anwendung von Art. 400 Abs. 1 OR dem Beschwerdeführer zu erstatten. Ohnehin ist fraglich, ob die Vereinbarung, wie sie in Ziffer 3.1 AVA getroffen wurde, im Lichte der oben (Erwägung 4) referierten Praxis des Bundesgerichts zu den Retrozessionen als gültige Verzichtsklausel angesehen werden könnte, ist doch namentlich nicht festgestellt, dass der Beschwerdeführer wenigstens über die Eckdaten der Höhe der Provision informiert worden wäre. Da der Beschwerdeführer demnach Anspruch auf Herausgabe der Provision hat, hätte die Vorinstanz auch sein Begehren auf diesbezügliche Rechnungslegung durch die Beschwerdegegnerin schützen müssen.
5.4 Zusammenfassend erweist sich die Beschwerde mit Bezug auf die Abweisung der Klage des Beschwerdeführers als begründet. Insoweit ist das angefochtene Urteil aufzuheben und die Sache zu neuem Entscheid über die Klage an die Vorinstanz zurückzuweisen.
6. Mit der Widerklage verlangte die Beschwerdegegnerin das Erfolgshonorar:
6.1 Die Parteien vereinbarten in Ziffer 3.3 AVA Folgendes:
"Übersteigt der Wert des Anlageplanes "yyy._" nach Ablauf der vereinbarten Anlagedauer von zehn Jahren das prognostizierte Anlageziel von EUR 600'000.--, so erhält X._ ein Erfolgshonorar in Höhe von 20 % desjenigen Betrages, welcher das prognostizierte Anlageziel von EUR 600'000.-- übersteigt. Mit diesem Erfolgshonorar sind alle Aufwendungen, Auslagen und Spesen der X._ abgegolten. [...] Wird das definierte Anlageziel nicht erreicht, so schuldet der Auftraggeber der X._ weder ein Honorar noch Ersatz von Auslagen."
In Ziffer 6 AVA regelten die Parteien den vorzeitigen Vertragsrücktritt. Ziffer 6.2 Satz 1 AVA lautet:
"Kündigt der Auftraggeber den vorliegenden Verwaltungsauftrag vor Ablauf der festen Vertragsdauer von 10 Jahren, hat X._ gleichwohl Anspruch auf das vereinbarte Erfolgshonorar gemäss Artikel 3.3, wenn die dort genannten Voraussetzungen eingetreten sind."
Die Vorinstanz legte Ziffer 6.2 AVA mit Verweis auf Ziffer 3.3 AVA nach Treu und Glauben dahingehend aus, dass das Anlageziel bei vorzeitiger Vertragsauflösung "pro rata" zu erreichen sei.
Der Beschwerdeführer hält diese Vertragsauslegung für unzutreffend. Er rügt eine Verletzung von Art. 18 Abs. 1 OR. Die Auslegung der Vorinstanz widerspreche dem klaren Wortlaut. Die Parteien hätten die Möglichkeit eines vorzeitigen Vertragsrücktritts normiert und für diesen Fall gerade nicht ein zeitlich-proportional reduziertes Anlageziel für die Berechnung des Erfolgshonorars als massgeblich bezeichnet, sondern gleichfalls das für 2013 avisierte Anlageziel von EUR 600'000.--. Schliesslich sei zu berücksichtigen, dass die Beschwerdegegnerin den AVA entworfen habe und sich daher allfällige Unklarheiten entgegenhalten lassen müsste.
6.2 Kann - wie hier - ein tatsächlich übereinstimmender Wille der Parteien nicht festgestellt werden, erfolgt die Auslegung des Vertrags nach dem Vertrauensgrundsatz. Dabei hat der Richter vom Wortlaut auszugehen und die Klauseln im Zusammenhang so auszulegen, wie sie nach den gesamten Umständen verstanden werden durften und mussten; er hat dabei auch zu berücksichtigen, was sachgerecht erscheint. In Bezug auf Allgemeinverbindliche Vertragsbestimmungen besagt die Unklarheitsregel, dass mehrdeutige Klauseln gegen deren Verfasser ausgelegt werden (BGE 133 III 607 E. 2.2, 675 E. 3.3).
Nach dem Wortlaut von Ziffer 6.2 AVA ist bei vorzeitigem Vertragsrücktritt das in Ziffer 3.3 AVA vereinbarte Erfolgshonorar gleichwohl geschuldet, "wenn die dort genannten Voraussetzungen eingetreten sind." Diese Voraussetzungen bestehen im Überschreiten des prognostizierten Anlagezieles von EUR 600'000.-- nach Ablauf der Anlagedauer von 10 Jahren. Bei einem vorzeitigen Vertragsrücktritt kann diese Voraussetzung selbstredend nicht wörtlich greifen, da jedenfalls die Anlagedauer von 10 Jahren nie abgelaufen ist. Es widerspricht aber auch nicht dem Wortlaut, wenn weiter angenommen wird, dass im Fall des vorzeitigen Vertragsrücktritts nicht nur das Element der Anlagedauer, sondern entsprechend auch dasjenige des Anlagezieles herabgesetzt ist. Eine solche Auslegung steht vielmehr im Einklang mit dem mutmasslichen Willen vernünftig handelnder Vertragsparteien. Wäre stets auf das für die vereinbarte Anlagedauer von 10 Jahren prognostizierte Anlageziel von EUR 600'000.-- abzustellen, hätte es der Auftraggeber in der Hand, (bei gegebenen Umständen) kurz vor Erreichen dieses Zieles vorzeitig zu kündigen und so der Ausrichtung eines Erfolgshonorars zu entgehen. Nach dem klar zum Ausdruck gebrachten Willen der Parteien sollte das Erfolgshonorar indessen auch bei vorzeitigem Vertragsrücktritt geschuldet sein. Die Auslegung der Vorinstanz, dass in diesem Fall das für die Auslösung eines Erfolgshonorars massgebende Anlageziel pro rata festzulegen ist, verletzt daher das Vertrauensprinzip nicht. Da zudem nicht von einer mehrdeutigen Klausel auszugehen ist, gelangt die Unklarheitsregel von vornherein nicht zur Anwendung.
6.3 Der Beschwerdeführer beharrt auf seinem Standpunkt, die in Ziffer 6.2 AVA getroffene Regelung sei in Wirklichkeit eine verkappte Konventionalstrafe. Sie schränke das freie Widerrufsrecht des Arbeitgebers gemäss Art. 404 Abs. 1 OR ein und sei damit widerrechtlich und nichtig.
Dem kann nicht gefolgt werden. Wie die Vorinstanz zutreffend erwog, wird mit Ziffer 6.2 AVA lediglich erreicht, dass der Auftraggeber bei vorzeitigem Vertragsrücktritt nicht besser gestellt ist, als wenn der Vertrag ordentlich beendet worden wäre. Eine Konventionalstrafe kann in dieser Regelung nicht erblickt werden, und eine (unzulässige) Beschränkung des freien Widerrufsrechts nach Art. 404 Abs. 1 OR liegt nicht vor.
6.4 Eventuell macht der Beschwerdeführer geltend, die Berechnung des Erfolgshonorars durch die Vorinstanz sei offensichtlich unrichtig. Er zeigt in diesem Zusammenhang aber weder eine Bundesrechtsverletzung noch eine offensichtlich unrichtige Sachverhaltsfeststellung auf. Im Gegenteil, er stützt seine Berechnung auf Sachverhaltselemente, die im angefochtenen Urteil nicht festgestellt sind und daher nicht berücksichtigt werden können (vgl. Art. 105 Abs. 1 BGG; s. dazu oben Erwägung 2.2). So namentlich, wenn er behauptet, er sei zufolge der Switch-Aktion mit einer latenten Strafzahlung belastet worden, die bei der Berechnung des Anlagewertes in Abzug zu bringen sei. Auch die angebliche Zinsbelastung in Höhe von EUR 6'500.-- jährlich für die Zeit von September 2009 bis 9. Juli 2013 ist so im angefochtenen Urteil nicht festgestellt. Ohnehin wird nicht erklärt, inwiefern eine solche Zinsbelastung die Bestimmung des Fortführungswertes per 20. September 2008 ändern müsste (vgl. Art. 97 Abs. 1 BGG). Sodann begründet der Beschwerdeführer keine Bundesrechtsverletzung, wenn er - wie schon vor der Vorinstanz - erneut einfach behauptet, für die Berechnung der Vertragsdauer müsse auf das Datum des Vertragsschlusses und nicht auf den Zeitpunkt der effektiven Anlage abgestellt werden. Er übersieht, dass für die Ermittlung des zeitanteiligen Anlageziels nicht die Vertragsdauer, sondern die Dauer der Anlage massgeblich ist. Von daher ist es folgerichtig, wenn die Vorinstanz als Beginn auf den Zeitpunkt der effektiven Anlage abstellte.
6.5 Zusammenfassend erweist sich die Beschwerde in Bezug auf die Widerklage als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
7. Der Beschwerdeführer obsiegt in Bezug auf seine Begehren auf Rechenschaftslegung und Herausgabe der von der Beschwerdegegnerin im Zusammenhang mit der Switch-Aktion vereinnahmten Provision, die er (vorläufig) auf mindestens EUR 30'000.-- bezifferte. Gleichzeitig wird die Vorinstanz aber das angemessene Honorar für die Beratungs- und Abschlussdienstleistungen der Beschwerdegegnerin im Zusammenhang mit der Switch-Aktion festzulegen und dieser zuzusprechen haben. In Bezug auf die Widerklage, unter deren Titel die Vorinstanz der Beschwerdegegnerin EUR 7'253.-- (bzw. Fr. 10'880.--) zusprach, unterliegt der Beschwerdeführer. Dieser Ausgang des Verfahrens rechtfertigt es, die Kosten- und Entschädigungsregelung für das bundesgerichtliche Verfahren approximativ im Verhältnis ein Viertel zulasten des Beschwerdeführers und drei Viertel zulasten der Beschwerdegegnerin vorzunehmen.
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird der Entscheid des Obergerichts des Kantons Thurgau vom 10. Februar 2011 mit Ausnahme der Dispositiv-Ziffern 2 und 4 betreffend die Widerklage aufgehoben. Die Sache wird zu neuer Entscheidung über die Klage und die Kostenfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden im Betrag von Fr. 625.-- dem Beschwerdeführer und im Betrag von Fr. 1'875.-- der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 29. November 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz