Sachverhalt: A. X._ (Beschwerdeführer) war ab Oktober 1980 Inhaber der Einzelfirma X._ mit Sitz in A._. Die Armee war die grösste Kundin der Einzelfirma. Im Herbst 1998 musste der Beschwerdeführer Konkurs anmelden. Auf den 6. April 1999 trat der Beschwerdeführer als Arbeitnehmer in die Z._ AG (Beschwerdegegnerin) ein. Im gleichentags unterzeichneten Arbeitsvertrag wurde einleitend festgestellt, dass der Tätigkeitsbereich auch in weiteren von der Beschwerdegegnerin geführten Betrieben oder Vertretungen irgendwelcher Art liege. Der Arbeitsbereich wurde mit "Betriebsorganisation und technische Strukturen vor allem in den Betrieben in B._ und C._, Arbeitsvorbereitung, Führung im Produktionsbereich, technische Pflege der Kundschaft und Massabnahmen bei Kundschaft" umschrieben. Der Jahreslohn war auf Fr. 90'000.--, die wöchentliche Arbeitszeit auf 45 Stunden und der Ferienanspruch auf fünf Wochen pro Jahr festgelegt. Der Arbeitsvertrag enthielt ein Konkurrenzverbot für die Dauer des Arbeitsverhältnisses und unter dem Titel "Beendigung des Arbeitsverhältnisses" eine Bestimmung betreffend Konventionalstrafe und Schadenersatz. Die Beschwerdegegnerin kündigte am 27. Dezember 2001 das Arbeitsverhältnis mit dem Beschwerdeführer auf den 28. Februar 2002. Am 7. Januar 2002 gab der Beschwerdeführer die Geschäftsschlüssel an die Beschwerdegegnerin zurück. Am 30. März 2002 reichte die Beschwerdegegnerin Strafklage gegen den Beschwerdeführer unter anderem wegen Verletzung des Fabrikations- und Geschäftsgeheimnisses ein. Das Strafverfahren endete im Jahr 2004 mit einer Aufhebungsverfügung. Der Beschwerdeführer ist seit dem 20. November 2002 einzelzeichnungsberechtigter Geschäftsführer der X._ GmbH. Gesellschafter ohne Zeichnungsberechtigung sind sein Sohn R._ und seine Ehefrau S._. B. B.a Am 12. September 2006 reichte die Beschwerdegegnerin beim Arbeitsgericht St. Gallen gegen den Beschwerdeführer Klage ein mit dem Antrag, den Beschwerdeführer zu verpflichten, ihr den Betrag von Fr. 30'000.-- nebst Zins zu bezahlen. Sie machte geltend, der Beschwerdeführer habe während des Arbeitsverhältnisses mit der Beschwerdegegnerin verschiedene Bestellungen von Polizeianzügen von ostschweizerischen Polizeikorps über die Firma S.X._ abgewickelt. Zudem habe er das Ostschweizer Polizeikonkordat dazu bringen können, ihre Polizeianzüge künftig über die S.X._ zu beziehen. Er habe damit insbesondere gegen seine gesetzliche Treuepflicht, das Verbot der Schwarzarbeit sowie das arbeitsvertragliche Konkurrenzverbot verstossen. Der Beschwerdeführer beantragte die Abweisung der Klage und erhob Widerklage mit dem Begehren, die Beschwerdegegnerin sei zu verpflichten, ihm einen nach Durchführung des Beweisverfahrens zu bestimmenden Betrag zu bezahlen, wenigstens Fr. 20'000.-- netto zuzüglich Zins zu 5% seit 28. Dezember 2001. Damit machte er einen Anspruch aus nicht bezogenen Ferien, einen Provisionsanspruch und einen Betrag betreffend Geschäftsfahrten mit seinem Privatfahrzeug geltend. Mit Entscheid vom 24. Januar 2008 hiess das Arbeitsgericht die Klage im Umfang von Fr. 30'000.-- nebst Zins zu 5% ab 1. April 2002 gut. Die Widerklage hiess es im Umfang von Fr. 5'700.-- nebst Zins zu 5% ab 28. Dezember 2001 (Entschädigung für Geschäftsfahrten) gut. B.b Gegen den Entscheid des Arbeitsgerichts erhoben der Beschwerdeführer Berufung und die Beschwerdegegnerin Anschlussberufung an das Kantonsgericht St. Gallen, wobei sie die Gutheissung der Klage bzw. der Widerklage und die Abweisung je des gegnerischen Rechtsmittels beantragten. Mit Entscheid vom 2. März 2009 wies das Kantonsgericht die Berufung ab. Es hiess die Anschlussberufung gut und wies die Widerklage ab. Das Kantonsgericht hielt es für erwiesen, dass der Beschwerdeführer mit der - von ihm zugegebenen - parallelen Produktion und dem Verkauf von Polizeianzügen (zusammen mit seiner Ehefrau) sowohl gegen das arbeitsvertragliche Konkurrenzverbot als auch gegen die allgemeine Treuepflicht des Arbeitnehmers nach Art. 321a OR verstossen habe. Er habe sich damit schadenersatzpflichtig gemacht (Art. 321e OR). Gestützt auf ein gerichtliches Gutachten errechnete es einen Schaden von Fr. 37'013.45. Es sprach demnach der Beschwerdegegnerin den eingeklagten Betrag von Fr. 30'000.-- zu. Ob ihr noch Forderungen wegen Verletzung des Konkurrenzverbotes zustünden, liess es offen. Betreffend die Widerklage hielt das Kantonsgericht den geltend gemachten Anspruch für nicht bezogene Ferien als nicht ausgewiesen. Für einen Provisionsanspruch fehle es an einer entsprechenden Vereinbarung oder an anderen Beweisen, anhand welcher ein Provisionsanspruch zu erkennen wäre. Betreffend Spesenentschädigung für Geschäftsfahrten erachtete das Kantonsgericht die Beweisführung durch den Beschwerdeführer ebenfalls als nicht erbracht. Es verblieb unter diesem Titel einzig der durch die Beschwerdegegnerin anerkannte Betrag von Fr. 5'700.-- (Spesenentschädigung für Geschäftsfahrten im Jahr 2000). Dieser Forderung hielt die Beschwerdegegnerin jedoch ihre restliche Schadenersatzforderung von Fr. 7'013.45 zur Verrechnung entgegen, weshalb das Kantonsgericht die Widerklage vollumfänglich abwies. C. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, den Entscheid des Kantonsgerichts vom 2. März 2009 aufzuheben und die Klage der Beschwerdegegnerin vollumfänglich abzuweisen. Die Beschwerdegegnerin sei widerklageweise zu verpflichten, ihm einen nach Durchführung des Beweisverfahrens zu bestimmenden Betrag, wenigstens Fr. 20'000.-- netto, zuzüglich Zins zu 5% seit 28. Dezember 2001, zu bezahlen. Eventualiter sei die Sache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Die Beschwerdegegnerin schliesst in ihrer Antwort auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung. D. Mit Präsidialverfügung vom 7. Mai 2009 wurde der Beschwerde die aufschiebende Wirkung erteilt.