Sachverhalt: A. Im April 1996 unterzeichneten A._ (Beschwerdeführer) und B._ (Beschwerdegegnerin) eine Vereinbarung, wonach sie, wie bereits seit Dezember 1995 gehandhabt, vorerst einmal bis Dezember 1999 gemeinsam ein Solarium betreiben würden. Danach sollte ein neuer Vertrag geschlossen werden. Nebst Ausführungen über die Aufgabenverteilung unter den Partnern und die Finanzierung des Betriebes enthielt die Vereinbarung unter Ziff. 11 folgende Klausel: "Konkurrenzverbot: Beiden Parteien ist es untersagt, weder Frau B._ noch Herrn A._, alleine im Oberengadin ein Bräunungsstudio zu eröffnen. Vertragsbruch: Entschädigung von Fr. 40'000.-- an den Partner." B. Die Parteien führten das Solarium über den Dezember 1999 hinaus weiter, ohne dass entsprechende Verhandlungen zu einer neuen Vereinbarung geführt hätten. Mit Schreiben vom 12. Dezember 2003 kündigte die Beschwerdegegnerin das Geschäftsverhältnis auf den 30. Juni 2004. Am 28. Oktober 2004 unterschrieben die Parteien eine Vereinbarung über die Auflösung des zwischen ihnen bestehenden als einfache Gesellschaft bezeichneten Gesellschaftsverhältnisses. Danach übernahm die Beschwerdegegnerin gegen eine Zahlung an den Beschwerdeführer den Betrieb des Solariums auf eigenen Namen und auf eigene Rechnung. Offen gelassen wurde, ob dem Beschwerdeführer eine Goodwillentschädigung auszurichten sei und ob die Beschwerdegegnerin wegen Verletzung des Konkurrenzverbotes Strafzahlung fordern dürfe. Sie warf dem Beschwerdeführer vor, das gemeinsam betriebene Solarium zu konkurrenzieren, indem er, sein Lebenspartner und seine Angestellten für ein in derselben Galerie auf demselben Stockwerk im Januar 2004 eröffnetes Selbstbedienungssolarium Dienstleistungen erbrächten. C. Die Beschwerdegegnerin machte beim Kreispräsidenten Oberengadin als Vermittler eine Klage hängig und verlangte Fr. 40'000.-- nebst Zins. Der Beschwerdeführer schloss auf Abweisung der Klage und erhob zunächst Widerklage auf eine Goodwillentschädigung von ebenfalls Fr. 40'000.--. An der Widerklage hielt er indessen nicht fest, nachdem die Beschwerdegegnerin ihre Forderung dem Bezirksgericht Maloja unterbreitet hatte. Dieses hiess die Klage am 13. März 2007 im Umfang von Fr. 20'000.-- nebst Zins gut. D. Gegen dieses Urteil erhoben beide Parteien kantonale Berufung. Das Kantonsgericht von Graubünden hiess die Klage gut und verpflichtete den Beschwerdeführer, der Beschwerdegegnerin Fr. 40'000.-- nebst Zins zu bezahlen. D.a Das Kantonsgericht liess offen, ob das Vertragsverhältnis der Parteien als einfache Gesellschaft oder Kollektivgesellschaft zu qualifizieren sei. Jedenfalls hätten die Parteien die Gesellschaft ab Januar 2000 weitergeführt, so dass das Konkurrenzverbot bis zum 30. Juni 2004 Geltung behalten habe. Für das Kantonsgericht war offenkundig, dass vom Verbot, ohne den anderen Partner im Oberengadin ein Solarium zu eröffnen, ohne weiteres auch der anschliessende Betrieb einer solchen Einrichtung erfasst werde, gehe doch erst hiervon die konkurrenzierende Wirkung aus. Diesem Verbot hätten die Parteien durch die Konventionalstrafe noch zusätzliches Gewicht verliehen. Das Konkurrenzverbot solle sicherstellen, dass der Betrieb des Solariums möglichst ungestört ausgeübt werden könne, und verhindern, dass ein Partner im Oberengadin offen oder verdeckt eine konkurrenzierende Tätigkeit entfalte. Dagegegen verstosse nicht nur, wer als Inhaber oder als Geschäftsführer die Verantwortung für ein anderes Solarium trage, sondern auch, wer sonst zum Gedeihen eines Konkurrenzunternehmens beitrage und damit ein Verhalten zeige, das nach den dispositiven Gesetzesbestimmungen grundsätzlich nicht mit der Stellung eines Mitglieds einer einfachen Gesellschaft oder einer Kollektivgesellschaft vereinbar sei. Nichts deute darauf hin, dass die Parteien derartige Dienstleistungen vom Verbot hätten ausnehmen wollen. D.b Das Kantonsgericht hielt für erstellt, dass der Beschwerdeführer die Geschehnisse im Konkurrenzsolarium aus seinem ein Stockwerk höher gelegenen Coiffeursalon über einen Bildschirm verfolgen konnte und dass ein Anschlag im Bräunungsstudio dessen Besucher darauf hinwies, dass sie sich bei Bedarf unmittelbar oder über eine Telefonnummer beim Coiffeurgeschäft des Beschwerdeführers melden könnten. Hinzu komme, dass der Beschwerdeführer gemäss einer Videoaufzeichnung vom 6. Februar 2004 gegenüber einem Kunden des gemeinsam betriebenen Solariums die Vorzüge des Konkurrenzsolariums erwähnt habe. Schliesslich habe eine Mitarbeiterin des Beschwerdeführers, welche nicht nur im Coiffeursalon, sondern auch im gemeinsamen Solarium gearbeitet habe, ein Teilpensum im Konkurrenzsolarium übernommen, aller Wahrscheinlichkeit nach mit Billigung des Beschwerdeführers. Aus diesen Gründen war nach Auffassung des Kantonsgerichts die Konventionalstrafe verfallen. Da der Beschwerdeführer keine Reduktionsgründe geltend gemacht hatte, sprach das Kantonsgericht der Beschwerdegegnerin die volle Konventionalstrafe zu. E. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht im Wesentlichen, die Klage abzuweisen. Seinem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht mit Verfügung vom 18. März 2008 statt. Die Beschwerdegegnerin und das Kantonsgericht schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.