Sachverhalt:
A. A.a Mit Arbeitsvertrag vom 23. April 2008 wurde F._ (Arbeitnehmer, Beklagter, Beschwerdeführer) von der Z._ AG (Arbeitgeberin, Klägerin, Beschwerdegegnerin) als "Global Product Line Manager - PIR & Traffic" mit Arbeitsbeginn am 13. Juli 2008 angestellt. Der Arbeitnehmer war bereits in den Jahren 2003 bis 2008 für eine Tochtergesellschaft der Rechtsvorgängerin der Z._ AG sowie eine Gesellschaft des Z._-Konzerns in den USA im Bereich Verkauf tätig.
Im genannten Arbeitsvertrag vereinbarten die Parteien unter Ziffer XIV für die Dauer des Vertragsverhältnisses sowie sechs Monate nach dessen Beendigung ein Konkurrenz- und Abwerbeverbot, unter Abrede einer Konventionalstrafe von sechs Bruttomonatslöhnen.
A.b Mit Schreiben vom 6. Februar 2009 kündigte der Arbeitnehmer das Arbeitsverhältnis auf den 6. April 2009.
Kurz vor Beendigung des Arbeitsverhältnisses, am 19. März 2009, gründete er zusammen mit sechs weiteren Personen die "X._ AG" mit Sitz in Y._.
B. B.a Am 22. April 2010 reichte die Arbeitgeberin beim Kreisgericht See-Gaster Klage gegen den Arbeitnehmer ein mit dem Begehren, der Arbeitnehmer sei unter Nachklagevorbehalt zu verpflichten, ihr eine Konventionalstrafe von Fr. 85'000.-- zuzüglich Zins von 5 % seit dem 15. Oktober 2009 zu bezahlen und es sei der in der Betreibung Nr. nnn._ des Betreibungsamtes Chur erhobene Rechtsvorschlag in diesem Umfang zu beseitigen.
Mit Entscheid vom 11. Oktober 2011 hiess das Kreisgericht See-Gaster die Klage teilweise gut und verpflichtete den Beklagten, der Klägerin Fr. 25'000.-- nebst 5 % Zins seit dem 15. Oktober 2009 zu bezahlen und hob den Rechtsvorschlag in der Betreibung Nr. nnn._ des Betreibungsamtes Chur in diesem Umfang auf. Soweit das Kreisgericht die Klage teilweise schützte und im Übrigen abwies, führte es aus, dass das im Arbeitsvertrag vereinbarte nachvertragliche Konkurrenzverbot dahingefallen sei, da der Beklagte das Arbeitsverhältnis aus begründetem Anlass gekündigt habe. Hingegen habe dieser noch während des Arbeitsverhältnisses mit seiner Beteiligung bei der Gründung der "X._ AG", die wie die Klägerin Verkehrsdetektoren produziere und verkaufe, die in Ziffer XIV des Arbeitsvertrages konkretisierte Treuepflicht verletzt. Für diese Verletzung erscheine die vereinbarte Konventionalstrafe von Fr. 85'000.-- indes als zu hoch; unter Berücksichtigung der besonderen Umstände sei sie auf Fr. 25'000.-- herabzusetzen.
B.b Gegen diesen Entscheid erhob der Beklagte beim Kantonsgericht St. Gallen Berufung mit dem Antrag, es sei der erstinstanzliche Entscheid aufzuheben und die Klage abzuweisen. Die Klägerin erhob Anschlussberufung mit dem Antrag, die Klage sei vollumfänglich gutzuheissen.
Mit Entscheid vom 26. September 2012 wies das Kantonsgericht St. Gallen die Berufung und die Anschlussberufung ab.
C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, der Entscheid des Kantonsgericht St. Gallen vom 26. September 2012 sei aufzuheben und die Klage vom 22. April 2010 sei vollumfänglich abzuweisen.
Die Klägerin beantragt die Abweisung der Beschwerde, die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Der Beschwerdeführer hat dem Bundesgericht unaufgefordert eine Replik, die Beschwerdegegnerin eine Duplik eingereicht.
D. Mit Präsidialverfügung vom 31. Oktober 2012 wies das Bundesgericht das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung ab.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
Der angefochtene Entscheid des Kantonsgericht St. Gallen ist ein verfahrensabschliessender Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz (Art. 75 Abs. 1 BGG). Der Streitwert beträgt Fr. 85'000.--, womit die erforderliche Streitwertgrenze erreicht ist (Art. 74 Abs. 1 lit. a BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - einzutreten.
2. Die Vorinstanz erwog, dass der Beschwerdeführer aus begründetem Anlass im Sinne von Art. 340c Abs. 2 OR gekündigt habe, womit sich die Beschwerdegegnerin nicht auf das vereinbarte nachträgliche Konkurrenzverbot berufen könne.
Allerdings sei der Arbeitnehmer auch dann, wenn eine Kündigung aus begründetem Anlass zum Wegfall des nachvertraglichen Konkurrenzverbots geführt habe, während der Kündigungsfrist noch an das aus Art. 321a OR fliessende Konkurrenzverbot gebunden. Zwar sei es ihm erlaubt, während der Kündigungsfrist eine nachvertragliche konkurrenzierende Tätigkeit vorzubereiten, worunter auch die Gründung einer Konkurrenzgesellschaft gehöre, dürfe aber damit eine vertragliche Erweiterung des aus der allgemeinen Treuepflicht (Art. 321a OR) fliessenden Konkurrenzverbots nicht verletzen. Ein solches vertraglich erweitertes Konkurrenzverbot ergebe sich aus Ziffer XIV des Arbeitsvertrages; indem der Beschwerdeführer während des laufenden Arbeitsverhältnisses ein Konkurrenzunternehmen mitgegründet und sich daran beteiligt habe, habe er Ziffer XIV des Arbeitsvertrages verletzt.
3. Nicht mehr strittig ist vor Bundesgericht die Frage, ob der Beschwerdeführer aus begründetem Anlass gekündigt hat und damit das nachvertragliche Konkurrenzverbot weggefallen ist. Streitig ist nur noch die Frage, ob die Vorinstanz den Beschwerdeführer zu Recht zur Bezahlung einer (reduzierten) Konventionalstrafe, wegen Verletzung der vertraglichen Erweiterung des aus der allgemeinen Treuepflicht fliessenden Konkurrenzverbots, verurteilt hat.
4. 4.1 Der Beschwerdeführer rügt eine Verletzung von Art. 321a ff. OR, insbesondere von Art. 321e OR. Er macht geltend, der vereinbarten Konventionalstrafe komme eindeutig nur Schadenausgleichscharakter zu, was gestützt auf Art. 321e OR unzulässig sei. Wäre es die Absicht der Parteien gewesen, mit der Konventionalstrafe, nebst der Schadensausgleichsfunktion, auch eine Konventionalstrafe mit Vorteilsausgleichs-, Straf- und/oder Disziplinarcharakter zu vereinbaren, hätte dies ausdrücklich und separat im Arbeitsvertrag geregelt werden müssen.
Aus der Formulierung der Ziffer XIV des Arbeitsvertrages könne man nicht schliessen, es sei zusätzlich eine Konventionalstrafe mit Bussencharakter vereinbart worden. Aus dem Schlusssatz gehe vielmehr hervor, dass sich der Arbeitgeber vorbehalte, den Ersatz des weiteren Schadens geltend zu machen. Daraus ergebe sich e contrario, dass die Konventionalstrafe nach dem Willen der Parteien nur Schadensausgleichsfunktion haben sollte.
4.2 Der Inhalt eines Vertrags bestimmt sich in erster Linie durch subjektive Auslegung, das heisst nach dem übereinstimmenden wirklichen Parteiwillen (Art. 18 Abs. 1 OR). Wenn dieser unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen, die ihnen vorausgegangen und unter denen sie abgegeben worden sind, verstanden werden durften und mussten (BGE 132 III 24 E. 4 S. 27 f.; 131 III 606 E. 4.1 S. 611; je mit Hinweisen). Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Richters über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (Art. 105 Abs. 1 BGG; BGE 133 III 61 E. 2.2.1 S. 67 mit Hinweisen).
4.3 Die Vorinstanz hat festgestellt, dass die von den Parteien im Arbeitsvertrag vom 23. April 2008 in Ziffer XIV vereinbarte Konventionalstrafe einerseits Straf- und Disziplinarcharakter habe, andererseits aber offensichtlich auch deshalb vereinbart worden sei, um einen allfälligen Schaden der Beschwerdegegnerin auszugleichen. Dass dies insbesondere auch von der Beschwerdegegnerin so verstanden wurde, ergebe sich einerseits implizit aus dem Umstand, dass sie die Höhe der geltend gemachten Konventionalstrafe unter anderem mit dem angeblich eingetretenen Schaden begründe, und es folge andererseits auch aus ihrer eigenen Übersetzung des Schlusssatzes von Ziffer XIV des Arbeitsvertrages ("Der Arbeitgeber behält sich ausserdem vor, den Ersatz des weiteren Schadens geltend zu machen"). Die vereinbarte Konventionalstrafe habe demnach teilweisen Ersatzcharakter und sei in dieser Hinsicht - soweit Verletzungen des Konkurrenzverbots während des laufenden Arbeitsverhältnisses betroffen seien - aufgrund der relativ zwingenden Bestimmung von Art. 321e i.V.m. Art. 362 Abs. 1 OR ungültig. Aus diesem Grund sei dem erstinstanzlichen Gericht beizupflichten, dass die vereinbarte Konventionalstrafe herabzusetzen sei.
4.4 Diese Ausführungen sind bundesrechtlich nicht zu beanstanden. Die Vorinstanz hat mittels Auslegung des Schlusssatzes von Ziffer XIV des Arbeitsvertrages ("In addition, the Employer reserves the right to claim compensation for damages as well as the right to the remedy of specific performance"; deutsche Übersetzung: "Der Arbeitgeber behält sich ausserdem vor, den Ersatz des weiteren Schadens geltend zu machen") erkannt, dass der vereinbarten Konventionalstrafe nebst der Straf- und Disziplinarfunktion auch Ersatzcharakter zukommt. Es ist nicht ersichtlich, inwiefern diese Auslegung falsch sein soll, plädiert doch der Beschwerdeführer selber dafür, dass die von den Parteien in Ziffer XIV vereinbarte Konventionalstrafe als Ganzes Ersatzcharakter zukomme. Bezüglich der Feststellung der Vorinstanz, wonach nicht zu bezweifeln sei, dass der vereinbarten Konventionalstrafe (auch) Straf- und Disziplinarcharakter haben sollte, was dem Üblichen entspreche, bringt der Beschwerdeführer nichts vor. Er macht lediglich geltend, dass disziplinarische Massnahmen im Arbeitsvertrag klar umschrieben, verhältnismässig und vorbestimmt sein müssen, tut aber nicht dar, inwiefern Ziffer XIV des Arbeitsvertrages dem nicht genügen würde.
Es ist demnach auch im bundesgerichtlichen Verfahren davon auszugehen, dass der von den Parteien vereinbarten Konventionalstrafe sowohl Ersatz- als auch Strafcharakter zukommt.
5. Insoweit als der vereinbarten Konventionalstrafe somit Ersatzcharakter zukommt, hat die Vorinstanz zu Recht erwogen, dass diese mit Art. 321e OR unvereinbar und dementsprechend zu reduzieren ist.
Der Beschwerdeführer bringt vor, die von der Vorinstanz vorgenommene Kürzung der Konventionalstrafe sei unverhältnismässig. Eine Konventionalstrafe dürfe einen Tagesverdienst nicht überschreiten.
5.1 Gemäss Art. 163 Abs. 3 OR hat der Richter übermässig hohe Konventionalstrafen nach seinem Ermessen herabzusetzen. Dabei ist aus Gründen der Vertragstreue und der Vertragsfreiheit Zurückhaltung geboten, denn die Strafe kann von den Parteien an sich in beliebiger Höhe festgesetzt werden (Art. 163 Abs. 1 OR). Ein richterlicher Eingriff in den Vertrag rechtfertigt sich nur, wenn der verabredete Betrag so hoch ist, dass er das vernünftige, mit Recht und Billigkeit noch vereinbarte Mass übersteigt (BGE 133 III 201 E. 5.2 S. 209; 133 III 43 E. 3.3.1 S. 48). Eine Herabsetzung der Konventionalstrafe rechtfertigt sich insbesondere, wenn zwischen dem vereinbarten Betrag und dem im Zeitpunkt der Vertragsverletzung bestehenden Interesse des Ansprechers, daran im vollen Umfang festzuhalten, ein krasses Missverhältnis besteht. Ob diese Voraussetzung gegeben ist, entscheidet sich nicht allgemein, sondern hängt von den Umständen des Einzelfalles ab. Dazu gehören insbesondere die Art und Dauer des Vertrags, die Schwere des Verschuldens und der Vertragsverletzung, das Interesse des Ansprechers an der Einhaltung des Verbots sowie die wirtschaftliche Lage der Beteiligten, namentlich des Verpflichteten. Zu berücksichtigen sind ferner allfällige Abhängigkeiten aus dem Vertragsverhältnis und die Geschäftserfahrungen der Beteiligten. Gegenüber einer wirtschaftlich schwachen Partei rechtfertigt sich eine Herabsetzung eher als unter wirtschaftlich gleichgestellten und geschäftskundigen Vertragspartnern (BGE 133 III 201 E. 5.2 S. 209 f.; 133 III 43 E. 3.3.2 S. 48 f.; je mit Hinweisen). Die tatsächlichen Voraussetzungen einer Herabsetzung und damit auch das Missverhältnis zum Erfüllungsinteresse sind nicht vom Gläubiger, sondern vom Schuldner zu behaupten und nachzuweisen (Art. 8 ZGB; BGE 133 III 201 E. 5.2 S. 210; 133 III 43 E. 4.1 S. 53 f.).
Das Ermessen des Richters (Art. 163 Abs. 3 OR; Art. 4 ZGB) bezieht sich sowohl auf die Frage der Übermässigkeit der Strafe als auch auf den Umfang der Herabsetzung. Beide Male hat der Richter nach Recht und Billigkeit zu entscheiden. Wenn er der Auffassung ist, die Strafe sei übermässig im vorstehend genannten Sinn, hat er sie bloss soweit zu reduzieren, dass sie nicht mehr in dieser Weise als übermässig erscheint (BGE 133 III 201 E. 5.2 S. 210). Diesen Ermessensentscheid überprüft das Bundesgericht an sich frei. Es übt dabei aber Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen. Es greift ausserdem in Ermessensentscheide ein, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 129 III 380 E. 2 S. 381 f.).
5.2 Die Vorinstanz gelangte gestützt auf diese Grundsätze zu einer Herabsetzung der vereinbarten Konventionalstrafe bzw. hat erwogen, dass die vom erstinstanzlichen Gericht vorgenommene Kürzung der eingeklagten Konventionalstrafe auf Fr. 25'000.-- angemessen sei. Dabei falle insbesondere ins Gewicht, dass der Beschwerdeführer das Konkurrenzverbot nur punktuell, nämlich mit der Mitwirkung bei der Gründung der Konkurrenzgesellschaft und der finanziellen Beteiligung an dieser verletzt habe, wobei dies zu einem Zeitpunkt gewesen sei, als das Ende des Verbots unmittelbar bevorgestanden habe, nämlich rund zweieinhalb Wochen vor der Beendigung des Arbeitsverhältnisses. Vor diesem Hintergrund dürfe das Interesse der Beschwerdegegnerin an der Einhaltung des Verbots nicht überbewertet werden. Hinzu komme, dass die Verletzung während der Kündigungsfrist erfolgt sei und dem Konkurrenzverbot in dieser Zeit - zumal der Beschwerdeführer das Arbeitsverhältnis aus begründetem Anlass gekündigt habe - nicht mehr das gleiche Gewicht habe beigemessen werden können, welches ihm im ungekündigten Verhältnis zugekommen wäre. Andererseits falle in Betracht, dass den Beschwerdeführer ein nicht unerhebliches Verschulden treffe; der gesetzlichen Treuepflicht komme bei Mitarbeitern in Kaderfunktion, wie sie der Beschwerdeführer inne gehabt habe, eine erhöhte Bedeutung zu. Hinzu komme, dass der Beschwerdeführer - wenn auch nur für beschränkte Zeit - Einblick in den schweizerischen Kundenkreis der Beschwerdegegnerin gehabt habe und demnach auch davon auszugehen sei, dass er die Geschäfts- und Fabrikationsgeheimnisse gekannt habe. Schliesslich sei dem Beschwerdeführer entgegen zu halten, dass er es in der Hand gehabt habe, auf eine Verschiebung der Gründung der Konkurrenzgesellschaft um wenige Wochen hinzuwirken.
5.3 Es besteht kein hinlänglicher Anlass für das Bundesgericht, in das Ermessen der Vorinstanz einzugreifen. Die Vorinstanz hat überzeugend dargelegt, inwiefern eine Kürzung der eingeklagten Konventionalstrafe auf Fr. 25'000.--, was rund dem Doppelten des dem Beschwerdeführer im Durchschnitt ausbezahlten Bruttomonatslohn entspricht, angemessen ist. Daran ändert nichts, dass sich das erstinstanzliche Gericht bei der Kürzung der Konventionalstrafe nicht mit der Funktion der vereinbarten Konventionalstrafe, resp. mit dem mit Art. 321e OR unvereinbaren Ersatzcharakter auseinandergesetzt hat. Der Beschwerdeführer bringt nicht vor, inwiefern die Vorinstanz bei der Prüfung der Angemessenheit ihr Ermessen überschritten hätte, noch was eine Korrektur des vorinstanzlichen Ermessensentscheids rechtfertigen könnte. Insbesondere kann der vom Beschwerdeführer zitierten Lehrmeinung, wonach eine Konventionalstrafe einen Tagesverdienst nicht überschreiten dürfe, nicht gefolgt werden.
5.4 Eine Verletzung von Bundesrecht ist nicht ersichtlich. Der angefochtene Entscheid ist zu bestätigen.
6. Nach dem Gesagten erweist sich die Beschwerde als unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. Dezember 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Reitze