Sachverhalt:
A. Y._ (Beschwerdegegner) schloss im Jahre 1999 mit X._ (Beschwerdeführerin) einen Praxisübernahmevertrag per 1. Januar 2000 ab, mit dem er sich zur Übertragung seiner zahnärztlichen Praxis einschliesslich der gesamten Patientenkartei (Ziff. 5 Abs. 1 des Vertrags) verpflichtete. Im Rahmen der Praxisübergabe kam es zu Differenzen zwischen den Parteien, insbesondere wegen angeblich negativer Äusserungen des Beschwerdegegners über die Beschwerdeführerin gegenüber Patienten. Infolgedessen modifizierten die Parteien am 19. Juli 2001 den ursprünglichen Vertrag mit einer Änderungsvereinbarung, deren Ziffern 3.1 und 3.2 wie folgt lauten:
"3.1
In Abänderung von Ziff. 3 des Kaufvertrages vereinbaren die Parteien als Restzahlung aus der Praxisübernahme für die Jahre 2000 und 2001 den Betrag von CHF 690'000.--, zahlbar in zwei Raten wie folgt:
CHF 350'000.-- bis spätestens am 30. Juli 2001.
CHF 340'000.-- bis spätestens 28. Februar 2002.
CHF 340'000.-- bis spätestens 28. Februar 2002.
3.2 Diese Zahlung steht unter der Bedingung, dass sich beide Parteien getreu und vertragsgemäss verhalten.
Insbesondere wird Y._ im Sinne von Ziff. 5 des Kaufvertrages dafür besorgt sein, dass die von ihm behandelten Patienten bei X._ eingeführt und von dieser weiter behandelt werden. Er wird sich jeglicher Abwerbung enthalten.
Beide Parteien verpflichten sich, sich jeglicher Kritik an der Person oder an der Arbeit der anderen Partei zu enthalten.
X._ dankt Y._ für die geleistete Arbeit und sichert zu, die übernommenen Patienten fachgerecht weiterzubehandeln."
Die erste Rate von Fr. 350'000.-- bezahlte die Beschwerdeführerin fristgerecht am 30. Juli 2001.
B. In der Folge ergaben sich jedoch weitere Differenzen zwischen den Parteien, namentlich bezüglich der Frage, ob der Beschwerdegegner der Beschwerdeführerin sämtliche Patientendaten ordnungsgemäss übergeben habe. Mit Schreiben vom 9. Oktober 2001 setzte die Beschwerdeführerin dem Beschwerdegegner Frist bis am 17. Oktober 2001, um unter anderem alle Patientenkarten und alle vom Computer heruntergeladenen Dateien in die Praxis zurückzubringen. Der Beschwerdegegner brachte hierauf einen Teil der zurückbehaltenen Patientenkarten zurück, entfernte im gleichen Zug jedoch die Datenbank-Software "Apollonia Y._" vom Computer der Beschwerdeführerin. Daraufhin teilte ihm die Beschwerdeführerin mit, er habe nicht getreu und vertragsgemäss gehandelt, weshalb die Bedingungen für die zweite Zahlung zur Zeit nicht erfüllt seien. Sie bestehe auf der vollständigen Rückgabe aller Sachen, namentlich der Datenbank-Software sowie noch fehlender Patientenunterlagen. Im Januar 2002 liess der Beschwerdegegner der Beschwerdeführerin eine Backup-Kopie der Datenbank-Software "Apollonia Y._" zukommen. Die zweite Kaufpreisrate in der Höhe von Fr. 340'000.--, die gemäss der Vereinbarung vom 19. Juli 2001 am 28. Februar 2002 fällig geworden wäre, bezahlte die Beschwerdeführerin nicht.
C. Am 20. Juni 2002 klagte der Beschwerdegegner gegen die Beschwerdeführerin beim Bezirksgericht Zürich auf Zahlung der ausstehenden Kaufpreisrate nebst Zins sowie Betreibungskosten. Während das Bezirksgericht die Klage abwies, verpflichtete das Obergericht des Kantons Zürich mit Urteil vom 21. August 2007 die Beschwerdeführerin zur Zahlung von Fr. 340'000.-- nebst Zins. Das Obergericht kam zum Schluss, Ziff. 3.2 Abs. 1 der Vereinbarung vom 19. Juli 2001 enthalte weder eine auflösende Bedingung, noch eine wirksame Konventionalstrafe. Zudem habe der Beschwerdegegner den Vertrag mit der Beschwerdeführerin nicht verletzt. Das daraufhin mit der Sache befasste Bundesgericht erachtete Ziff. 3.2 Abs. 1 der Vereinbarung vom 19. Juli 2001 als gültig vereinbarte Konventionalstrafe. Es hielt sodann fest, der Beschwerdegegner habe die geschlossene Vereinbarung mehrfach verletzt. Der Beschwerdegegner habe aus grundsätzlichen Überlegungen die Herausgabe gewisser Patientenakten verweigert, statt sich um die Einholung der Zustimmungen der betroffenen Patienten zu bemühen. Zudem habe er die Datenbank-Software "Apollonia Y._" entfernt. Das Bundesgericht wies die Sache an das Obergericht zurück, da sich auf der Grundlage der vorhandenen Feststellungen nicht beurteilen lasse, ob der vollumfängliche Erlass der Kaufpreisrestanz von Fr. 340'000.-- eine übermässig hohe Konventionalstrafe darstelle (vgl. BGE 135 III 433). Am 2. Februar 2012 setzte das Obergericht die Konventionalstrafe auf Fr. 50'000.-- herab, hiess die Klage im Umfang von Fr. 290'000.-- nebst Zins zu 5 % seit dem 16. April 2002 gut und hob in diesem Umfang den Rechtsvorschlag auf.
D. Mit Beschwerde in Zivilsachen beantragt die Beschwerdeführerin dem Bundesgericht im Wesentlichen, die Klage abzuweisen. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, während das Obergericht auf Vernehmlassung verzichtet. Obwohl kein weiterer Schriftenwechsel angeordnet wurde, hat die Beschwerdeführerin Bemerkungen zur Beschwerdeantwort eingereicht, zu denen der Beschwerdegegner seinerseits Stellung nahm.
Erwägungen:
1. Das Bundesgericht wies die Sache an die Vorinstanz zurück, damit diese prüfe, ob der vollumfängliche Erlass der Kaufpreisrestanz von Fr. 340'000.-- eine übermässig hohe Konventionalstrafe darstelle.
1.1 Nach einem Rückweisungsentscheid des Bundesgerichts sind sowohl dieses selbst als auch die kantonalen Instanzen an die rechtliche Beurteilung, mit der die Rückweisung begründet wurde, gebunden. Wegen dieser Bindung der Gerichte ist es ihnen wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen worden waren (BGE 135 III 334 E. 2 und 2.1 S. 335 f. mit Hinweisen).
1.2 Nach Art. 163 Abs. 3 OR hat der Richter eine übermässig hohe Konventionalstrafe nach seinem Ermessen herabzusetzen. Dabei ist aus Gründen der Vertragstreue und der Vertragsfreiheit Zurückhaltung geboten, denn die Strafe kann von den Parteien an sich in beliebiger Höhe festgesetzt werden (Art. 163 Abs. 1 OR). Ein richterlicher Eingriff in den Vertrag rechtfertigt sich nur, wenn der verabredete Betrag so hoch ist, dass er das vernünftige, mit Recht und Billigkeit noch vereinbare Mass übersteigt. Der wichtigste Grund für einen solchen Eingriff ist darin zu erblicken, dass die gesetzlichen Schranken der Vertragsfreiheit gemäss Art. 19/20 OR sich auf die Lage anlässlich des Vertragsschlusses beziehen, sich aber erst nach der Verletzung des Vertrages richtig abmessen lässt, wie es sich mit der Rechtfertigung der vereinbarten Strafe verhält. Eine Herabsetzung rechtfertigt sich insbesondere, wenn zwischen dem vereinbarten Betrag und dem Interesse des Ansprechers, daran im vollen Umfang festzuhalten, ein krasses Missverhältnis besteht. Ob diese Voraussetzung gegeben ist, entscheidet sich nicht allgemein, sondern hängt von den Umständen des Einzelfalles ab. Dazu gehören insbesondere die Art und Dauer des Vertrages, die Schwere des Verschuldens und der Vertragsverletzung, das Interesse des Ansprechers an der Einhaltung des Verbots sowie die wirtschaftliche Lage der Beteiligten, namentlich des Verpflichteten. Zu berücksichtigen sind ferner allfällige Abhängigkeiten aus dem Vertragsverhältnis und die Geschäftserfahrungen der Beteiligten. Der Gläubiger hat sein Interesse aber nicht ziffernmässig nachzuweisen; denn damit würde Art. 161 Abs. 1 OR umgangen. Ebenso wenig darf sich der Richter bei der Prüfung, ob ein Missverhältnis vorliege und die Strafe deshalb herabzusetzen sei, mit dem eingetretenen Schaden begnügen, da dieser dem Interesse des Ansprechers, an der Konventionalstrafe im vollen Umfang festzuhalten, nicht entsprechen muss. Eine Konventionalstrafe kann mithin nicht schon deshalb als übermässig bezeichnet werden, weil sie den Betrag übersteigt, den der Gläubiger als Schadenersatz wegen Nichterfüllung beanspruchen könnte; diesfalls verlöre die Strafe ihren Sinn. Die Angemessenheit der Konventionalstrafe ist nicht allein im Hinblick auf den tatsächlich entstandenen Schaden zu beurteilen, sondern es ist bei Würdigung der gesamten Umstände auch das Schadensrisiko, dem der Gläubiger im konkreten Fall ausgesetzt war, zu berücksichtigen sowie weitere Inkonvenienzen. Die tatsächlichen Voraussetzungen einer Herabsetzung und damit auch das Missverhältnis zum Erfüllungsinteresse sind nicht vom Gläubiger, sondern vom Schuldner zu behaupten und nachzuweisen (BGE 133 III 43 E. 3.3 und 4.1 - 4.3 mit Hinweisen).
2. Die Vorinstanz hielt fest, sie habe in ihrem ersten Entscheid die Frage der Pflichtverletzungen nicht abschliessend behandelt. Sie hat ein ergänzendes Beweisverfahren durchgeführt, um festzustellen, welche Pflichtverletzungen des Beschwerdegegners die Beschwerdeführerin nachweisen kann. Das Verhalten der Parteien vor der Zusatzvereinbarung vom 19. Juli 2001 hielt sie dabei für unbeachtlich.
2.1 Die Vorinstanz erkannte, dem Beschwerdegegner könne nicht vorgeworfen werden, er habe Patienten veranlasst, die Dienste anderer Zahnärzte in Anspruch zu nehmen. Sie ging mit Blick auf die Herabsetzung der Konventionalstrafe von folgenden Vertragsverletzungen des Beschwerdegegners aus: Rückbehaltung von zwölf Patientenkarten einerseits und Entzug der Zahnarztsoftware "Apollonia Y._" für ca. drei Monate andererseits.
2.2 Im Sinne einer Eventualbegründung hielt die Vorinstanz fest, die Beschwerdeführerin habe auf die Geltendmachung von weiteren Vertragsverletzungen verzichtet, zumal sie vom Beschwerdegegner die vollständige Rückgabe aller Sachen verlangt und darauf hingewiesen habe, dass die Bedingungen für die zweite Zahlung zur Zeit nicht erfüllt seien. Aus der Formulierung "zur Zeit" lasse sich mit Fug ableiten, dass nach Erfüllung der Bedingungen die noch ausstehende Zahlung geleistet werde. Die Beschwerdeführerin habe ihre Vorwürfe auf die fehlenden Patientenkarten und "das Apollonia" beschränkt.
2.3 Die nachgewiesenen Vertragsverletzungen erachtete die Vorinstanz insgesamt als marginal. Das Schadenspotential halte sich in Grenzen. Damit erschien ihr die Herabsetzung der Konventionalstrafe auf Fr. 50'000.-- gerechtfertigt.
3. Die Beschwerdeführerin rügt sinngemäss, die Vorinstanz habe die von ihr behauptete Verletzung der Pflicht des Beschwerdegegners, seine Patienten bei der Beschwerdeführerin einzuführen, unberücksichtigt gelassen. Ebenso habe sie nicht beachtet, dass der Beschwerdegegner eigenmächtig Patientenkarten aus der Praxis entfernt habe. Sie habe selbst festgehalten, auf die Zeitdauer der Expatriierung könne es nicht ankommen. Mit Blick auf den von der Vorinstanz angenommenen Verzicht auf die Geltendmachung der Vertragsverletzungen rügt die Beschwerdeführerin eine Verletzung der Verhandlungsmaxime, ihres Anspruchs auf rechtliches Gehör sowie von Art. 18 OR, da der Beschwerdegegner selbst die Äusserungen der Beschwerdeführerin nicht als Verzicht verstanden habe. Schliesslich ist sie der Ansicht, die Vorinstanz sei zu Unrecht von der Rückgabe eines brauchbaren Backups der "Apollonia Y._" ausgegangen. Sie beanstandet ausserdem, dass für die Zeit vor der gerichtlichen Herabsetzung ein Zins zugesprochen wurde, und ist der Auffassung, namentlich mit Blick auf die Zinsen und die Höhe der Herabsetzung würden die Grundsätze der Konventionalstrafe in ihr Gegenteil verkehrt.
4. Die Vorinstanz erachtet die Vertragsverletzungen als marginal und das Schadenspotential für begrenzt. Bei der Herabsetzung der Konventionalstrafe geht es indessen weder um eine Schadensschätzung im Sinne von Art. 42 Abs. 2 OR noch allein um die Abschätzung des Schadenspotentials. Für den Verfall der vollen Konventionalstrafe kann eine einzige Pflichtverletzung genügen und ist nicht vorausgesetzt, dass überhaupt ein Schaden eintritt. Die Konventionalstrafe kann gerade dazu dienen, die Einhaltung vertraglicher Pflichten zu garantieren, an denen ein Vertragspartner ein besonderes Interesse hat, deren Verletzung aber nicht zwingend zu einem im Prozess nachweisbaren Schaden führt. Zu prüfen ist, ob der verabredete Betrag angesichts der konkreten Verfehlungen so hoch erscheint, dass er das mit Recht und Billigkeit noch vereinbare Mass übersteigt. Dabei sind die gesamten Umstände zu berücksichtigen, namentlich das Verhalten der fehlbaren Partei einerseits und das Interesse der anderer Partei an der korrekten Vertragserfüllung andererseits. Richtschnur für die Beurteilung des Verhaltens der Parteien bildet die von ihnen getroffene vertragliche Vereinbarung.
4.1 Das Bundesgericht hat im Rückweisungsentscheid festgehalten, der Beschwerdegegner habe aus grundsätzlichen Überlegungen die Herausgabe gewisser Patientenakten verweigert, statt sich um die Einholung der Zustimmungen der betroffenen Patienten zu bemühen. Bereits darin hat das Bundesgericht eine Pflichtverletzung gesehen und nicht nur in der unvollständigen Rückgabe. Diesbezüglich ist die Vorinstanz an den Rückweisungsentscheid gebunden, weshalb sie für die Herabsetzung schon aus prozessualen Gründen nicht allein auf die Anzahl der Patientenakten, die am 17. Oktober 2001 nicht zurückgebracht wurden, abstellen durfte. Insoweit ist die Beschwerde begründet.
4.2 Aus dem angefochtenen Entscheid geht hervor, dass nach Auffassung der Beschwerdeführerin die Verletzung der Pflicht des Beschwerdegegners, seine Patienten bei der Beschwerdeführerin einzuführen, gravierend ins Gewicht fällt. Die Überführung des Patientenstammes habe der Beschwerdegegner entgegen seiner Pflicht nicht unterstützt.
4.2.1 Die Parteien haben am 19. Juli 2001 den ursprünglichen "Kaufvertrag" abgeändert und im Sinne einer Konventionalstrafe festgehalten, die vereinbarte Restzahlung stehe unter der Bedingung, dass sich beide Parteien getreu und vertragsgemäss verhalten. Insbesondere sollte der Beschwerdegegner im Sinne von Ziff. 5 des Kaufvertrages dafür besorgt sein, dass die von ihm behandelten Patienten bei der Beschwerdeführerin eingeführt und von dieser weiter behandelt würden, und er sollte sich jeglicher Abwerbung und jeglicher Kritik an der Person oder an der Arbeit der Beschwerdeführerin enthalten.
4.2.2 Die Vorinstanz hat festgestellt, es sei keine Abwerbung erfolgt. Zur Pflicht, die Patienten bei der Beschwerdeführerin einzuführen, hat sie sich nicht geäussert. Sie hat weder in rechtlicher Hinsicht nach dem Vertrauensprinzip ermittelt, wie weit die Pflicht des Beschwerdegegners zur Einführung seiner Patienten bei der Beschwerdeführerin reicht, noch in Würdigung der Beweise festgehalten, ob, und wenn ja inwieweit, der Beschwerdegegner die übernommen Pflichten verletzt hat.
4.2.3 Weshalb sich die Vorinstanz auf die Prüfung der aktiven Abwerbung sowie der Sabotage der Übertragung beschränkt hat, wird nicht ersichtlich. Die Argumentation, die Beschwerdeführerin habe auf die Geltendmachung bestimmter Pflichtverstösse verzichtet, taugt jedenfalls nicht als Begründung. Selbst der Beschwerdegegner anerkennt, dass die Beschwerdeführerin nicht ausdrücklich auf die Geltendmachung von Vertragsverletzungen im Zusammenhang mit der Verpflichtung zur "Einführung der Patienten" verzichtet hat. Allerdings könnten die Briefe durchaus als Offerte zu einem solchen Verzicht verstanden werden, doch nur unter der Bedingung, dass der Beschwerdegegner die Forderung der Beschwerdeführerin nach "vollständiger Rückgabe aller Sachen" erfülle. Und das habe er nach Auffassung der Beschwerdeführerin nicht getan. Diesen korrekten Ausführungen des Beschwerdegegners ist nur hinzuzufügen, dass gemäss den Feststellungen der Vorinstanz bis heute keine vollständige Rückgabe erfolgt ist und der Beschwerdegegner zwölf Patientenkarten zurückbehalten hat. Selbst wenn die Beschwerdeführerin unter gewissen Voraussetzungen bereit ist, den vollen Preis zu bezahlen und auf die Anrufung allfälliger weiterer Pflichtverletzungen als Reduktionsgründe zu verzichten, kann daraus nichts abgeleitet werden, wenn der Beschwerdegegner die entsprechenden Voraussetzungen nicht erfüllt. Die Annahme eines Verzichts widerspricht nicht nur der Auslegung der Erklärungen nach dem Vertrauensprinzip, sondern dem tatsächlichen Verständnis beider Parteien.
4.2.4 Angesichts der langen Verfahrensdauer erscheint es unangemessen, die Angelegenheit nochmals zurückzuweisen, damit sich die Vorinstanz zur Frage der mangelhaften Einführung der Patienten äussern kann. Die zur Beurteilung notwendigen tatsächlichen Grundlagen sind im angefochtenen Entscheid bereits enthalten, so dass das Bundesgericht die Frage selbst entscheiden kann. Aus dem Wortlaut der Abänderungsvereinbarung geht deutlich hervor, dass neben dem Verbot der Abwerbung eine positive Leistung des Beschwerdegegners vereinbart wurde, nämlich die Einführung seiner Patienten bei der Beschwerdeführerin. Dies entsprach offensichtlich auch dem Verständnis des Beschwerdegegners selbst. Gemäss den von der Vorinstanz als zuverlässig erachteten Aussagen der damals eine Lehre als Dentalassistentin absolvierenden Zeugin Z._, auf die sich beide Parteien berufen, hat sich der Beschwerdegegner zumindest anfangs bemüht, seine Patienten der Beschwerdeführerin vorzustellen, was aber zum Teil an deren mangelnder Abkömmlichkeit beziehungsweise Kooperation gescheitert sei, so dass es ihm ein bisschen "abgelöscht" habe. Die Aussage dieser Zeugin wird von keiner der Parteien in Zweifel gezogen. Die Parteien sind sich lediglich uneins, welcher Zeitpunkt mit "anfangs" bezeichnet wird.
4.2.4.1 Der Beschwerdegegner vertritt in der Beschwerdeantwort die These, es sei die Zeit nach der Abänderungsvereinbarung gemeint, und er leitet daraus die Erfüllung seiner Pflichten ab. Die Beschwerdeführerin hatte in der Beschwerde die Aussage dagegen auf die Zeit vor der Abänderungsvereinbarung nach Abschluss des ursprünglichen Kaufvertrages bezogen. In ihren Bemerkungen zur Beschwerdeantwort legt sie im Einzelnen dar, weshalb sich aus der Würdigung der Gesamtaussage zwingend ergebe, dass nicht die Zeit nach Abschluss der Abänderungsvereinbarung gemeint gewesen sein könne.
4.2.4.2 Der Beschwerdegegner äussert sich dazu in seiner Stellungnahme zu den Bemerkungen der Beschwerdeführerin nicht. Er macht geltend, die Ausführungen der Beschwerdeführerin stellten materiell eine Replik dar, worauf nicht einzutreten sei. Die Vorinstanz hat sich indessen zur Frage, auf welchen Zeitpunkt sich die Aussage bezieht, nicht geäussert, so dass erst die Beschwerdeantwort Anlass zu entsprechenden Ausführungen der Beschwerdeführerin gab. Damit sind deren Bemerkungen zur Beschwerdeantwort mit Blick auf ihren Anspruch auf rechtliches Gehör zulässig. Da der Beschwerdegegner ihnen nicht substanziiert widerspricht, ist davon auszugehen, dass sie zutreffen.
4.2.5 Der Beschwerdegegner war sich mithin durchaus bewusst, dass er seine Patienten der Beschwerdeführerin vorstellen sollte. Dass er nach der Abänderungsvereinbarung entsprechende Versuche unternommen hätte, lässt sich der Zeugenaussage nicht entnehmen. Aus den Übrigen im angefochtenen Entscheid festgehaltenen Zeugenaussagen ergibt sich zwar, dass der Beschwerdegegner die Beschwerdeführerin seinen Patienten teilweise als Nachfolgerin empfohlen hat. Die Zeugin W._ bezeichnet sich aber als enttäuscht, da die Beschwerdeführerin sich nie bei ihr vorgestellt habe. Daher sei sie zum Schluss gekommen, sie sei als Patientin unerwünscht. Die Zeugin V._ erklärt explizit, es habe sie seinerzeit irritiert, dass der Übergang vom Beschwerdegegner zur Beschwerdeführerin einfach so plötzlich gewesen sei. Normalerweise werde man ja über einen solchen Vorgang orientiert.
4.2.6 Verspricht der Beschwerdegegner, seine Patienten bei der Beschwerdeführerin einzuführen, so darf diese nach Treu und Glauben zumindest voraussetzen, dass die Patienten von ihm über den Wechsel informiert werden und die Beschwerdeführerin als Nachfolgerin präsentiert wird. Aus dem angefochtenen Entscheid geht deutlich hervor, dass der Beschwerdegegner dieser Pflicht nicht hinreichend nachgekommen ist. Auch insoweit ist die Beschwerde begründet.
4.3 Auf die Frage, ob das Backup der "Apollonia Y._" brauchbar war und ob sich die Beschwerdeführerin darum bemüht hat, es brauchbar zu machen, muss nicht näher eingegangen werden. Fest steht, dass die Datei nicht ohne Weiteres eingesehen werden konnte, sondern dass dazu Manipulationen am Datum des Computers notwendig waren. Andererseits ist nicht festgestellt und wird von der Beschwerdeführerin auch nicht behauptet, dass sie vom Beschwerdegegner Abhilfe verlangt hätte. Bei dieser Sachlage kann mit Blick auf die Herabsetzung der Konventionalstrafe offen bleiben, welchen Stellenwert die Datei für die Beschwerdeführerin hatte und ob sie sich anderweitig darum bemüht hat, die Datei brauchbar zu machen.
5. Die Parteien haben einen Praxisübernahmevertrag geschlossen. Ziel der Einführung der Patienten war offensichtlich, die Beschwerdeführerin im Rahmen einer reibungslosen Übergabe als Nachfolgerin zu präsentieren, und nach Möglichkeit zu bewirken, dass die Patienten nicht zu anderen Zahnarztpraxen wechseln. Dass nicht feststeht, ob bei einer korrekten Einführung der Patienten und einer reibungslosen Übergabe der Praxis tatsächlich mehr Patienten bei der Beschwerdeführerin verblieben wären, ist nicht entscheidend, da diese keinen Schaden nachzuweisen hat. Die Konventionalstrafe schützt das Interesse, durch die Einhaltung der Vereinbarung optimale Voraussetzungen für die Übernahme der Patienten zu schaffen.
5.1 Gestützt auf den angefochtenen Entscheid steht fest, dass die Übergabe der Praxis alles andere als reibungslos verlief. Vielmehr kam es zu einem Hin und Her bezüglich der Patientenakten. Die unbefugte Mitnahme der nach 8 Tagen am 17. Oktober 2001 weitgehend wieder zurückgebrachten Akten sowie die Entfernung der Datenbank-Software "Apollonia Y._" wiegen insofern nicht leicht, als der Beschwerdegegner dem eigentlichen Vertragszweck direkt zuwidergehandelt hat. Die Beschwerdeführerin hätte die ihr nachträglich überlassene Backup Version der Datenbank nach den Feststellungen der Vorinstanz mit entsprechenden computertechnischen Kniffen (Rückstellung des Datums) zwar nutzen und die dazu notwendigen Vorkehrungen von der sie betreuenden Computerspezialistin in Erfahrung bringen können. Dem Beschwerdegegner ist aber vorzuwerfen, dass er sich, nachdem er die Daten vertragswidrig entfernt hatte, nach deren Rückführung nicht darum kümmerte, ob die Beschwerdeführerin tatsächlich darauf Zugriff nehmen konnte. Andererseits ist zu berücksichtigen, dass ihn die Beschwerdeführerin nicht über die Zugriffsprobleme informierte, wodurch ihm verunmöglicht wurde, Abhilfe zu schaffen. Welchen Stellenwert die Datei für die Beschwerdeführerin hatte, ist unter diesen Umständen irrelevant.
5.2 Auch mit Bezug auf die Einführung der Patienten ist der Beschwerdegegner seinen vertraglichen Pflichten nicht hinreichend nachgekommen, an deren Einhaltung die Beschwerdeführerin ein berechtigtes Interesse hatte. Wenn der Beschwerdegegner die Vereinbarung (entgegen den Behauptungen der Beschwerdeführerin im kantonalen Verfahren) mit Bezug auf die Patienten nicht aktiv sabotiert hat, bedeutet dies noch nicht, dass er die übernommenen Pflichten wie in der Zusatzvereinbarung vorgesehen "getreu und vertragsgemäss" erfüllt hätte. Wiederum ergibt sich indessen aus dem angefochtenen Entscheid nicht, dass die Beschwerdeführerin je konkrete Schritte zur Einführung, wie beispielsweise ein Informationsschreiben an die Patienten, verlangt hätte. Vielmehr ist die Einführung zumindest ursprünglich auch am Verhalten der Beschwerdeführerin gescheitert, was die Unterlassungen des Beschwerdegegners in einem milderen Lichte erscheinen lässt.
5.3 Angesichts der von den Parteien für eine Verletzung des Konkurrenzverbots durch Eröffnung einer Zahnarztpraxis im vom Konkurrenzverbot umfassten Gebiet festgesetzten Summe von Fr. 250'000.-- ist eine Kürzung der als Wegfall von Forderungen des Beschwerdegegners über insgesamt Fr. 690'000.-- vereinbarten Konventionalstrafe zwar offensichtlich angezeigt (zwischen den Parteien ist denn auch nur die Pflicht zur Zahlung der letzten Rate von Fr. 340'000.-- umstritten), aber keinesfalls in dem von der Vorinstanz angenommenen Ausmass auf nur noch Fr. 50'000.--. Insgesamt kann das Verhalten des Beschwerdegegners nicht als marginal betrachtet werden. Dieses führte dazu, dass der Vertrag in zentralen Punkten, der reibungslosen Übernahme der Praxis und der Einführung der Patienten, nicht eingehalten wurde. Mit Blick auf die gesamten Umstände erscheint eine Konventionalstrafe von Fr. 170'000.-- nicht als übermässig. Diese trägt einerseits der Tatsache Rechnung, dass die Beschwerdeführerin nicht das erhalten hat, was der Beschwerdegegner vertraglich zugesichert hat, und dass durch die nicht optimale Übergabe jedenfalls das Risiko einer erhöhten Abwanderung der Patienten bestand. Zudem handelte der Beschwerdegegner mit der Wegnahme von Akten und der Löschung der Datenbank dem Vertragszweck diametral zuwider. Andererseits berücksichtigt die Herabsetzung, dass der Beschwerdegegner keine Abwerbung vornahm, die Beschwerdeführerin trotz der mangelhaften Vertragserfüllung die Praxis übernehmen konnte und dass die Probleme zum Teil zumindest auch mit ihrem eigenen Verhalten zusammenhängen. Damit verbleibt statt der von der Vorinstanz angenommenen Restforderung von Fr. 290'000.-- eine solche von Fr. 170'000.--.
6. Die Vorinstanz hat dem Beschwerdegegner auf dem geschuldeten Betrag Zins zu 5 % seit dem 16. April 2002 zugesprochen. Die Beschwerdeführerin macht geltend, aufgrund von Ziffer 3.2 der Vereinbarung vom 19. Juli 2001 und den feststehenden Vertragsverletzungen des Beschwerdegegners sei die letzte Rate vollständig untergegangen. Soweit die Vorinstanz dem Beschwerdegegner in Anwendung der Grundsätze der Konventionalstrafe dennoch einen Betrag zusprechen wolle, fälle sie ein Gestaltungsurteil, das eine neue Forderung begründe. Auf dieser könne erst ab dem Urteil der Vorinstanz Verzugszins geschuldet sein. Zudem sei der Zinssatz von 5 % wesentlich höher als die Renditen, die auf einem Sparkonto im Zeitraum, für den die Zinsen zugesprochen wurden, hätten erzielt werden können. So profitiere der Beschwerdegegner und würden die Grundsätze der Konventionalstrafe in ihr Gegenteil verkehrt.
6.1 Die rechtliche Qualifikation der Herabsetzung ist in der Lehre umstritten (vgl. MIGUEL SOGO, Gestaltungsklagen und Gestaltungsurteile des materiellen Rechts und ihre Auswirkungen auf das Verfahren, 2007, S. 84; GASPARD COUCHEPIN, La clause pénale, 2008, S. 186 f. Rz. 928 ff.; MEHMET ERDEM, La clause pénale, Ankara 2006, S. 150 ff.; BENTELE, Die Konventionalstrafe nach Art. 160-163 OR, 1994, S. 51 und 123 f.; je mit Hinweisen). Die wohl vorherrschende Lehre qualifiziert die Herabsetzung zwar in der Tat als Gestaltungsurteil (vgl. die Hinweise bei COUCHEPIN, a.a.O., S. 187 Rz. 932; BENTELE, a.a.O., S. 123), analog der in Deutschland zu 343 BGB herrschenden Lehre (VOLKER RIEBLE, in: J. von Staudingers Kommentar zum Bürgerlichen Gesetzbuch, Berlin 2004, N. 39 und 45 zu § 343 BGB mit Hinweisen, wobei dem Urteil Rückwirkung zuerkannt wird; vgl. zum Einfluss von § 343 BGB auf die schweizerische Rechtsprechung: WALTER SCHOCH, Begriff, Anwendung und Sicherung der Konventionalstrafe, 1935, S. 65 f.; ROGER SECRÉTAN, Étude sur la clause pénale en droit suisse, 1917, S. 128 f.). Im Gegensatz zur entsprechenden Regel in § 343 BGB, die bestimmt, dass eine unverhältnismässig hohe Strafe auf Antrag des Schuldners durch Urteil auf den angemessenen Betrag herabgesetzt werden kann, erwähnt Art. 163 Abs. 3 OR, dessen Wurzeln auf Art. 182 aOR und damit vor die Schaffung von § 343 BGB zurückgehen (SECRÉTAN, a.a.O., S. 119; SCHOCH, a.a.O., S. 65; BECKER, Berner Kommentar, 2. Aufl. 1941, N. 25 zu Art. 163 OR; zu Art. 182 aOR vgl. FRANCIS MAULER, De la nature de la clause pénale, 1898, S. 48 ff.; MAX STAHEL, Die Conventionalstrafe mit specieller Berücksichtigung des schweizerischen Obligationenrechtes, 1898, S. 115 ff.), aber weder das Antragserfordernis noch, dass die Herabsetzung durch Urteil erfolge.
6.1.1 Die Diskussion um die richterliche Herabsetzung einer Konventionalstrafe drehte sich historisch um die Frage, ob es dem Richter zukomme, Privatverträge abzuändern (vgl. schon BLUNTSCHLI, Das zürcherische Obligationenrecht: mit Erläuterungen, 1855, S. 49 f. zu § 970 des zürcherischen Obligationenrechts; MAULER, a.a.O., S. 85 ff.; SECRÉTAN, a.a.O., S. 119 ff.; STAHEL, a.a.O., S. 115). Aus der Tatsache, dass der Richter mit der Herabsetzung in die Privatautonomie der Parteien eingreift und das zwischen ihnen vertraglich "fest und unzweifelhaft Vereinbarte" abändert (so zu Art. 182 aOR schon BGE 21 S. 640 E. 4 S. 645), folgt indes nicht zwingend, dass es sich bei der Herabsetzung um ein Gestaltungsurteil handelt. So stützt das Bundesgericht in BGE 41 II 138 E. 1 S. 143 seinen Entscheid auf eine Lehrmeinung, wonach die Befugnis des Richters zur Ermässigung der Busse als ein von dem sittlichen Bewusstsein gefordertes Ausgleichsmittel gegen den Missbrauch des formalen Rechts erscheine (HERMANN HABICHT, Die Einwirkung des bürgerlichen Gesetzbuchs auf zuvor entstandene Rechtsverhältnisse, 3. Aufl., Jena 1901, S. 250). Dies spricht eher dafür, die Herabsetzung der Konventionalstrafe als einen im Gesetz ausdrücklich geregelten Anwendungsfall des Rechtsmissbrauchsverbots nach Art. 2 ZGB anzusehen, auf den das Bundesgericht auch die Anpassung von Verträgen zufolge veränderter Verhältnisse ("clausula rebus sic stantibus") abgestützt hat (BGE 107 II 343 E. 2 S. 348 mit Hinweisen; in der jüngeren Rechtsprechung wurde die dogmatische Grundlage für die Vertragsanpassung allerdings offengelassen: BGE 127 III 300 E. 5b S. 304).
6.1.2 Betrachtet man die Möglichkeit der Herabsetzung als Ausfluss der Pflicht zum Handeln nach Treu und Glauben, greift der Richter nicht gestaltend in den Vertrag ein, sondern stellt lediglich im Streitfall fest, ob sich das Festhalten an der gesamten vereinbarten Konventionalstrafe mit Treu und Glauben (beziehungsweise mit Recht und Billigkeit) noch vereinbaren lässt. Damit ist die Konventionalstrafe von Anfang an nur im reduzierten Masse geschuldet, da der Vertragspartner aufgrund der gesamten Umstände bei Verfall der Konventionalstrafe nach Treu und Glauben nicht den vollen Betrag verlangen darf.
6.1.3 Das Bundesgericht hat die Auffassung, der Ermässigung durch den Richter dürfe keine rückwirkende Kraft zukommen, bereits in einem zu Art. 182 aOR ergangenen Entscheid verworfen und erkannt, das Vertrauen auf den Bestand der Konventionalstrafe könne den Konventionalstrafgläubiger nicht vor den Verzugsfolgen schützen, wenn er seinen Anspruch aus der Konventionalstrafe zur Verrechnung mit einer Schuld verwendet und dieser nachträglich reduziert wird (Urteil des Bundesgerichts vom 16. Juni 1905 i.S. Trüb & Cie c. Burgy E. 7, auszugsweise publ. in: Revue der Gerichtspraxis im Gebiete des Bundescivilrechts, 1906, Bd. 24 Nr. 23 S. 50 f.; vgl. auch BECKER, Berner Kommentar, 1. Aufl. 1917 [Vorauflage], N. 16 zu Art. 163 OR; SCHOCH, a.a.O., S. 70 Fn. 3). Es trifft daher entgegen der Meinung der Beschwerdeführerin nicht zu, dass die letzte Rate zunächst untergegangen ist. Vielmehr blieb zufolge des Übermasses der Konventionalstrafe die letzte Rate im Umfang von Fr. 170'000.-- geschuldet. Damit hat der Beschwerdegegner Anspruch auf Verzugszins.
6.2 Auch die Höhe des Verzugszinses von 5 % ist nicht zu beanstanden. Dass sich diese für den Gläubiger je nach Marktlage als mehr oder weniger vorteilhaft erweist, ist eine Folge der gesetzlichen Fixierung (Art. 104 Abs. 1 OR). Diese kann durchaus dazu führen, dass die Konventionalstrafe für den Beschwerdegegner faktisch gemildert wird. Dass aber überhaupt Verzugszins geschuldet ist, hat die Beschwerdeführerin zu vertreten, die in einem mit Recht und Billigkeit nicht mehr vereinbaren Masse an der Konventionalstrafe festhielt. Der Einwand, durch die Höhe der Verzugszinsen würden die Grundsätze der Konventionalstrafe in ihr Gegenteil verkehrt, ist nicht stichhaltig.
7. Die Klage ist im Umfang von Fr. 170'000.-- nebst Zins zu 5 % seit dem 16. April 2002 gutzuheissen und in diesem Umfang der Rechtsvorschlag zu beseitigen. Der Ausgang des Verfahrens rechtfertigt, die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen.
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird die Klage im Betrag von Fr. 170'000.-- nebst Zins zu 5 % seit dem 16. April 2002 gutgeheissen, und der Rechtsvorschlag in der Betreibung Nr. 7956 des Betreibungsamtes Zürich 7 (Zahlungsbefehl vom 5. April 2002) wird in diesem Umfang aufgehoben. Im Übrigen wird die Klage abgewiesen.
2. Die Gerichtskosten von Fr. 6'500.-- werden den Parteien je zur Hälfte auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Die Sache wird zu neuer Entscheidung über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Oktober 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak