Sachverhalt:
A. Die X._ AG mit Sitz in St. Gallen ist tätig in der Unternehmensberatung und in der Personalselektion und -vermittlung. Mit Arbeitsvertrag vom 14. Mai 2003 stellte sie A._ als Unternehmensberater in Personalfragen für die deutschsprachige Schweiz und das Fürstentum Liechtenstein ein.
Der Arbeitsvertrag enthielt namentlich folgende Klausel:
"Der Arbeitnehmer verpflichtet sich, sich nach Beendigung des Arbeitsverhältnisses für die Dauer von zwei Jahren jeder konkurrenzierenden Tätigkeit zu enthalten, insbesondere weder auf eigene Rechnung ein Geschäft zu betreiben, das mit dem der Arbeitgeberin im Wettbewerb steht, noch in einem solchen Geschäft tätig zu sein oder sich daran zu beteiligen".
Bei Verletzung des Konkurrenzverbotes war eine Konventionalstrafe von Fr. 100'000.-- vorgesehen.
Das Arbeitsverhältnis wurde durch Vertrag vom 30. Juni 2008 auf den 31. August 2008 aufgelöst. Der Auflösungsvertrag hält ausdrücklich fest, dass das Konkurrenzverbot gemäss Arbeitsvertrag bestehen bleibt. In den vorausgegangenen Jahren 2006 und 2007 hatte A._ brutto Fr. 151'083.-- bzw. Fr. 187'465.-- verdient.
Eine Zusatzvereinbarung der Parteien zum Auflösungsvertrag sieht sodann folgendes vor:
"Sollte A._ die Möglichkeit haben, in der Beratung tätig zu sein, diese ausserhalb der Kantone St. Gallen, Zürich, Thurgau, beide Appenzell und Graubünden und nicht bei einem direkten Konkurrenten stattfindet, so sollen die Parteien eine einvernehmliche Lösung finden. Eine solche ist sodann schriftlich zu vereinbaren und gilt sodann für beide als rechtsverbindlich."
A._ liess sich am 15. September 2008 als Einzelfirma A._ Consulting ins Handelsregister des Kantons St. Gallen eintragen; Zweck des Einzelunternehmens ist die Beratung in "Human Resources Management". Die X._ AG monierte am 3. Dezember 2008 bei A._ eine Verletzung des Konkurrenzverbotes, was dieser abstritt. Sie leitete daraufhin am 28. Januar 2009 ein Vermittlungsverfahren ein, das scheiterte.
B. Die X._ AG klagte am 13. Mai 2009 beim Kreisgericht St. Gallen gegen A._ auf Bezahlung von Fr. 100'000.--. Letzterer bestritt die Zuständigkeit des angerufenen Gerichts, die Gültigkeit des Konkurrenzverbots sowie die Angemessenheit der Konventionalstrafe. Mit Urteil vom 12. Mai 2010 bejahte das Kreisgericht seine Zuständigkeit, hiess die Klage gut und verurteilte A._, Fr. 100'000.-- mit Zins zu 5 % ab dem 28. Januar 2009 an die X._ AG zu bezahlen.
A._ reichte kantonalrechtliche Berufung ein. Das Kantonsgericht St. Gallen (III. Zivilkammer) wies die Berufung mit Entscheid vom 10. Januar 2011 ab und bestätigte die Verurteilung von A._ zur Bezahlung von Fr. 100'000.-- mit Zins zu 5 % ab dem 28. Januar 2009.
C. Der nicht mehr anwaltlich vertretene A._ (nachfolgend: der Beschwerdeführer) reichte beim Bundesgericht "Berufung" ein; er schliesst unter anderem auf vollständige Abweisung der Klage. Die X._ AG (nachfolgend: die Beschwerdegegnerin) beantragt in ihrer Antwort vom 26. Juli 2011 die "Abweisung der Berufung".
Erwägungen:
1. 1.1 Das Rechtsmittel der Berufung an das Bundesgericht (vgl. Art. 43 ff. des Bundesgesetzes vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege [aOG]) gibt es nicht mehr. Die Eingabe ist als Beschwerde in Zivilsachen (Art. 72 ff. BGG) entgegenzunehmen.
1.2 Der von der Vorinstanz festgestellte Sachverhalt ist für das Bundesgericht massgebend, es sei denn, eine Partei zeige auf, dass er offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 1 und 2 BGG). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Hierbei gelten strenge Begründungsanforderungen; macht der Beschwerdeführer eine Verletzung des Willkürverbots (Art. 9 BV) geltend, hat er im Einzelnen aufzuzeigen, inwiefern eine bestimmte Sachverhaltsfeststellung der Vorinstanz offensichtlich unhaltbar ist (vgl. BGE 133 II 249 E. 1.2.2 und 1.4.3; 133 III 393 E. 7.1, 462 E. 2.4; vgl. auch BGE 135 III 397 E. 1.5).
Die Darstellung des Sachverhalts, die der Beschwerdeführer den eigentlichen Beschwerdegründen voranstellt, genügt diesen Anforderungen nicht. Die entsprechenden Ausführungen in der Beschwerdeschrift enthalten keine hinreichend begründeten Sachverhaltsrügen und haben daher unberücksichtigt zu bleiben.
1.3 Die Anwendung einfachen kantonalen Rechts ist von der Überprüfung durch das Bundesgericht ausgenommen (Art. 95 BGG). Der Beschwerdeführer kann einzig vorbringen, die Vorinstanz habe bei der Anwendung kantonalen Rechts verfassungsmässige Rechte, insbesondere das Willkürverbot (Art. 9 BV), verletzt (vgl. BGE 133 III 462 E. 2.3 und 4.4.1). Eine solche Verfassungsrüge muss, wie jede andere Verletzung von Grundrechten, ausdrücklich erhoben und begründet werden (Art. 106 Abs. 2 BGG).
Dies hat der Beschwerdeführer nicht getan. So behauptet er zwar verschiedentlich, entgegen dem angefochtenen Entscheid habe er bestimmte Beweismittel rechtzeitig und formgültig angeboten, zeigt jedoch nicht auf, inwiefern den entsprechenden Erwägungen der Vorinstanz eine verfassungswidrige Anwendung des kantonalen Prozessrecht zugrunde liegt. Darauf ist nicht einzutreten.
1.4 Die Gültigkeit des Konkurrenzverbotes stellt der Beschwerdeführer nicht mehr in Frage. Darauf ist folglich nicht weiter einzugehen (vgl. BGE 133 III 545 E. 2.2).
2. Die Vorinstanz hat zur Frage der Konkurrenzierung verschiedene Zeugen nicht gehört, die der Beschwerdeführer genannt hatte. Letzterer rügt eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV).
2.1 Sowohl Art. 29 Abs. 2 BV als auch Art. 8 ZGB geben der beweisbelasteten Partei einen Anspruch darauf, für rechtserhebliche Sachvorbringen zum Beweis zugelassen zu werden, sofern ihr Beweisantrag nach Form und Inhalt den Vorschriften des anwendbaren Verfahrensrechts entspricht (BGE 133 III 189 E. 5.2.2 S. 195; 131 I 153 E. 3 S. 157; 124 I 241 E. 2 S. 242; je mit Hinweisen). Das Gericht kann auf ein beantragtes Beweismittel verzichten, wenn es ohne Willkür in vorweggenommener Beweiswürdigung annehmen durfte, eine weitere Beweiserhebung würde seine Überzeugung nicht beeinflussen (BGE 134 I 140 E. 5.3 S. 148; 131 I 153 E. 3 S. 157; 130 II 425 E. 2.1 S. 429; je mit Hinweisen).
2.2 Die Vorinstanz hat die Beweisanträge des Beschwerdeführers mit der Begründung abgelehnt, sie genügten den Substanziierungsanforderungen des damals anwendbaren kantonalen Prozessrechts nicht (E. 5.7 und 7.7). Das verletzt weder Art. 29 Abs. 2 BV noch Art. 8 ZGB; denn es ist nur Beweisanträgen nachzukommen, die nach Form und Inhalt den Vorschriften des anwendbaren Prozessrechts entsprechen. Der Beschwerdeführer bringt zwar in allgemeiner Weise vor, seine Anträge hätten diesen Anforderungen genügt und behauptet insbesondere, er habe seine entsprechenden Ausführungen entgegen der Ansicht der Vorinstanz genügend substanziiert. Damit verkennt er, dass die Verletzung von Bestimmungen des kantonalen Verfahrensrechts vom Bundesgericht nicht frei, sondern nur auf die Verletzung verfassungsmässiger Rechte hin geprüft werden kann (vgl. Art. 95 BGG). Dass die Vorinstanz die kantonalen Vorschriften in willkürlicher Weise angewendet hätte, rügt der Beschwerdeführer nicht. Die Nichtanhörung der Zeugen ist unter diesen Umständen nicht zu beanstanden.
Darüber hinaus hielt die Vorinstanz fest, der Sachverhalt sei auch ohne diese Zeugen erstellt (E. 5.7 und 7.7), und brachte damit zum Ausdruck, die Erhebung der beantragten Beweismittel würde ihre Überzeugung nicht beeinflussen. Diese antizipierte Beweiswürdigung ist zulässig und verletzt den Anspruch auf Beweisabnahme grundsätzlich nicht. Dass die Würdigung vorliegend gegen das verfassungsmässige Willkürverbot verstiesse, rügt der Beschwerdeführer nicht. Seine Vorbringen dringen auch unter diesem Gesichtspunkt nicht durch.
3. Der Beschwerdeführer kritisiert sodann die Höhe der Konventionalstrafe als übermässig.
3.1 Der Richter hat eine übermässig hohe Konventionalstrafe nach seinem Ermessen herabzusetzen (Art. 163 Abs. 3 OR). Dabei ist aus Gründen der Vertragstreue und der Vertragsfreiheit Zurückhaltung geboten, denn die Strafe kann von den Parteien an sich in beliebiger Höhe festgesetzt werden (Art. 163 Abs. 1 OR). Ein richterlicher Eingriff in den Vertrag rechtfertigt sich nur, wenn der verabredete Betrag so hoch ist, dass er das vernünftige, mit Recht und Billigkeit noch vereinbare Mass übersteigt. Eine Herabsetzung der Konventionalstrafe rechtfertigt sich insbesondere, wenn zwischen dem vereinbarten Betrag und dem Interesse des Ansprechers, daran im vollen Umfang festzuhalten, im Zeitpunkt der Vertragsverletzung ein krasses Missverhältnis besteht. Ob diese Voraussetzung gegeben ist, entscheidet sich nicht allgemein, sondern hängt von den Umständen des Einzelfalles ab. Dazu gehören insbesondere die Art und Dauer des Vertrags, die Schwere des Verschuldens und der Vertragsverletzung, das Interesse des Ansprechers an der Einhaltung des Verbots sowie die wirtschaftliche Lage der Beteiligten, namentlich des Verpflichteten. Als Indiz des Übermasses kommt der höchstmögliche Schaden in Betracht; der effektiv eingetretene Schaden ist hingegen nicht massgebend. Zu berücksichtigen sind ferner allfällige Abhängigkeiten aus dem Vertragsverhältnis und die Geschäftserfahrungen der Beteiligten; gegenüber einer wirtschaftlich schwachen Partei rechtfertigt sich eine Herabsetzung eher als unter wirtschaftlich gleichgestellten und geschäftskundigen Vertragspartnern (BGE 133 III 43 E. 3.3, 201 E. 5.2; 114 II 264 E. 1; je mit Hinweisen).
Der Schuldner hat die tatsächlichen Voraussetzungen einer Herabsetzung zu behaupten und zu beweisen. Das Ermessen des Richters bezieht sich sowohl auf die Frage der Übermässigkeit der Strafe als auch auf den Umfang der Herabsetzung; beide Male hat der Richter nach Recht und Billigkeit zu entscheiden. Diesen Ermessensentscheid überprüft das Bundesgericht an sich frei. Es übt dabei aber Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von Grundsätzen abgewichen ist, die in Lehre und Rechtsprechung anerkannt sind, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen. Es greift ausserdem in Ermessensentscheide nur ein, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (BGE 133 III 201 E. 5.2 und 5.4 S. 211).
3.2 Der Beschwerdeführer rügt zuerst, die Vorinstanz habe seinem Beweisantrag auf Begutachtung seiner Geschäftsbücher durch einen unabhängigen Experten zu Unrecht keine Folge gegeben.
Der Beschwerdeführer berief sich auf eine schwierige finanzielle Situation, wollte aber seine Geschäftsbücher nicht offenlegen, um diese Situation zu belegen, und ersuchte deshalb um deren Prüfung durch einen Dritten. Die Vorinstanz stellte fest, dass das vom Beschwerdeführer geltend gemachte Geheimhaltungsinteresse nicht dargetan sei und dass der Beschwerdeführer es im Übrigen unterlassen habe, Tatsachen zu seiner wirtschaftlichen Lage zu behaupten. Deshalb und wegen der untergeordneten Bedeutung der Frage lehnte sie die Begutachtung ab.
Der Beschwerdeführer legt nicht dar, inwiefern die Verneinung des Geheimhaltungsinteresses gegen das verfassungsmässige Willkürverbot verstossen sollte; ein solcher Verstoss wird nicht einmal behauptet. Dasselbe gilt in Bezug auf die Feststellung fehlender Substanziierung. Der Beschwerdeführer beschränkt sich auch im bundesgerichtlichen Beschwerdeverfahren auf den lapidaren Spruch, dass er die Geschäftsbücher der Gegenseite deshalb nicht offenlegen wolle, weil die entsprechenden Zahlen diese schlicht nichts angingen; damit zeigt er keine Bundesrechtsverletzung auf. Die finanzielle Lage des Beschwerdeführers ist somit nicht dargetan.
3.3 Die Vorinstanz ist von einem erheblichen Schädigungspotenzial ausgegangen, weil der Beschwerdeführer während fünf Jahren in weitgehend eigenverantwortlicher Position die Kunden der Beschwerdegegnerin intensiv betreute und deren Bedürfnisse bestens kannte, und weil er erklärtermassen diese Kundschaft weiter betreuen will. Der Beschwerdeführer stellt diese Annahmen nicht in Frage; seine Ausführungen in der Beschwerdeschrift, wonach er während seiner fünfjährigen Anstellungszeit Honorare von über Fr. 2'000'000.-- für die Beschwerdegegnerin eingenommen habe - das sind im Schnitt Fr. 400'000.-- pro Jahr - zeigen dieses Schädigungspotenzial vielmehr plastisch auf. Daran vermag auch die Bemerkung des Beschwerdeführers nichts zu ändern, dass Kunden persönliche Beziehungen zu Beratern bevorzugten und dass sie nach seinem Abgang die Beschwerdegegnerin ohnehin verlassen hätten; gerade um das zu vermeiden wurde mit ihm ein Konkurrenzverbot vereinbart.
Die Vorinstanz hat sodann ein erhebliches Verschulden bejaht. Die Konkurrenzierung sei direkt auf Abwerbung des bei der Beschwerdegegnerin betreuten Kundenstammes ausgerichtet gewesen, sie habe sich zeitlich nicht nur unmittelbar an das Ende des Arbeitsverhältnisses, sondern auch an die ausdrückliche Bestätigung des Konkurrenzverbotes im Auflösungsvertrag angeschlossen, sie sei im Kern des örtlichen Geltungsbereiches erfolgt, und sie werde unbeirrt und ohne die Bereitschaft, auf die Beschwerdegegnerin einzugehen, fortgesetzt. Auch das bestreitet der Beschwerdeführer nicht.
Der Beschwerdeführer wendet letztlich, neben den nicht erwiesenen Finanzproblemen, nur ein, die Beschwerdegegnerin habe von seiner Berufserfahrung und seinem Netzwerk profitiert. Auch wenn dem so wäre, hat er mitprofitiert durch entsprechende Provisionen; es gibt ihm jedoch weder das Recht, das vereinbarte Konkurrenzverbot zu missachten, noch führt es zur Übermässigkeit der Konventionalstrafe.
3.4 Die Konventionalstrafe von Fr. 100'000.-- entspricht etwa den Honoraren, die der Beschwerdeführer in nur drei Monaten für die Beschwerdegegnerin erwirtschaftete. Wenn die Vorinstanz eine Strafe in dieser Höhe als notwendig erachtete, um den Beschwerdeführer abzuschrecken und davon abzuhalten, die Kunden der Beschwerdegegnerin abzuwerben, hat sie ihr Ermessen nicht überschritten.
Der Betrag von Fr. 100'000.-- entspricht sodann etwa dem Einkommen, das der Beschwerdeführer bei der Beschwerdegegnerin in acht Monaten erzielte. Indem die Vorinstanz diese Höhe nicht als übermässig qualifizierte, hat sie ihren weiten Ermessensspielraum ebenfalls nicht überschritten. Im Fall eines Kleinhandelsreisenden für Nahrungsmittel, dessen Verschulden mit jenem des Beschwerdeführers sehr ähnlich war, der aber eine bescheidenere berufliche Stellung innehatte, setzte das Bundesgericht eine Konventionalstrafe in der Höhe von einem halben Jahreseinkommen fest (BGE 91 II 372 E. 11); im Vergleich dazu ist eine Strafe von acht Monatseinkommen im vorliegenden Fall durchaus vertretbar.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 25. August 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann