Sachverhalt: A. Die X._ AG (Beschwerdegegnerin) erhob mit Weisung des Friedensrichteramts Arbon vom 15. November 2005 beim Bezirksgericht Arbon Klage gegen sechs ihrer ehemaligen Verwaltungsräte, unter anderm gegen Dr. A._ (Beschwerdeführer). Sie forderte die Bezahlung von Fr. 5'869'651.-- nebst Zins aus aktienrechtlicher Verantwortlichkeit. Die Beklagten bestritten die Klage und erhoben mit einer Ausnahme Widerklage. Der Beschwerdeführer verlangte widerklageweise die Zahlung von Fr. 422'462.-- nebst Zins und eines nach dem Beweisverfahren zu beziffernden Betrages als Bonus, mindestens Fr. 192'500.-- nebst Zins. Nach Schriftenwechsel und Hauptverhandlung ordnete das Bezirksgericht eine Expertise zur Schadenhöhe an, die am 13. Oktober 2008 erstattet wurde. Anschliessend fanden Vergleichsverhandlungen statt, an denen die Versicherung Y._ teilnahm, bei der die Beklagten gegen Ansprüche aus Organhaftung gegenüber der Beschwerdegegnerin versichert waren, wobei Versicherungsnehmerin die Beschwerdegegnerin war. In der Folge reichte die Beschwerdegegnerin dem Gericht einen zwischen ihr und der Y._ geschlossenen Vergleich betreffend die Verantwortlichkeitsklage unter Berücksichtigung der Widerklagen in konkret erwähnten Beträgen ein. Die Beklagten erklärten ihre Zustimmung zur Abschreibung der aktienrechtlichen Verantwortlichkeitsklage zufolge Vergleichs zwischen der Beschwerdegegnerin und der Y._, der Beschwerdeführer jedoch nur unter der Voraussetzung, dass seine Widerklage dadurch nicht betroffen sei. B. Mit Beschluss vom 1./21. Juni 2010 schrieb das Bezirksgericht Arbon die Verantwortlichkeitsklage und die Widerklagen mit Ausnahme von derjenigen des Beschwerdeführers zufolge Vergleichs ab. Die Widerklage des Beschwerdeführers schrieb das Bezirksgericht mit gleichzeitig gefälltem Entscheid ab, im Umfang von Fr. 388'633.50 (Lohnansprüche, Boni und Verwaltungsratsvergütungen für die Zeit bis zum Rücktritt des Beschwerdeführers am 13. Oktober 2003) zufolge Anerkennung und im Umfang von Fr. 111'053.-- zufolge Rückzugs. Im Mehrumfang wies es sie ab. Das Bezirksgericht verneinte dabei u.a. eine Pflicht der Beschwerdegegnerin, dem Beschwerdeführer auf dem anerkannten Betrag von Fr. 388'633.50 aufgelaufene Verzugszinsen für die Zeit vom 1. November 2004 bis 27. Juli 2009 zu bezahlen, da die entsprechende Forderung durch Verrechnung mit der Forderung aus aktienrechtlicher Verantwortlichkeit getilgt worden sei. Der Beschwerdeführer erhob gegen den Entscheid des Bezirksgerichts u.a. in diesem Punkt Berufung an das Obergericht des Kantons Thurgau und verlangte insoweit, es sei ihm auf dem anerkannten und bereits bezahlten Betrag von Fr. 388'633.50 Verzugszins zu 5 % vom 5. November 2004 bis 27. Juli 2009 zuzusprechen. Das Obergericht gab diesem Berufungsbegehren nicht statt. C. Der Beschwerdeführer verlangt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts in diesem Punkt einschliesslich der Kostenregelung aufzuheben und die Beschwerdegegnerin zu verpflichten, ihm Fr. 92'122.67 als Verzugszins auf dem Betrag von Fr. 388'633.50 vom 1. November 2004 bis 27. Juli 2009 zu bezahlen, eventuell die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Vorinstanz und die Beschwerdegegnerin schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.