Sachverhalt:
A. A._ (Beklagter, Beschwerdeführer) lebte seit 1997 mit B._ (Klägerin, Beschwerdegegnerin) in einer eheähnlichen Beziehung.
Die Klägerin nimmt den Beklagten aus einem schriftlichen Schenkungsversprechen in Anspruch, das er anlässlich eines Hafturlaubs am 17. Februar 2004 abgegeben hat. Dieses sieht insbesondere Folgendes vor: "Ich ... verpflichte mich hiermit, B._ ... die Hälfte des mir zustehenden Anteils am Nachlass meines am 12. September 2002 verstorbenen Vaters ... zu übertragen."
B. B.a B._ klagte im Jahre 2004 beim Bezirksgericht Horgen gegen A._ insbesondere auf Bezahlung eines der Hälfte seines Erbanteils entsprechenden Geldbetrags. Mit Urteil vom 11. Mai 2006 wurde die Klage zunächst abgewiesen; auf Berufung der Klägerin hin wies das Obergericht des Kantons Zürich die Sache mit Beschluss vom 4. September 2006 zu neuem Entscheid an das Bezirksgericht Horgen zurück. Mit Urteil vom 27. November 2006 wies das Bezirksgericht die Klage erneut ab, was zu einem neuerlichen Berufungsverfahren führte.
B.b Mit Beschluss vom 6. November 2007 liess das Obergericht des Kantons Zürich die Änderung der Rechtsbegehren der Klägerin zu (Dispositiv-Ziffer 2) und stellte mit Vor-Urteil vom gleichen Tag fest, dass die auf Art. 21 OR gestützte Anfechtung der Vereinbarung vom 17. Februar 2004 durch den Beklagten verwirkt sei.
Das Obergericht erwog insbesondere, es könne nicht angenommen werden, der Beklagte habe den Vertrag vom 17. Februar 2004 durch die Erhebung des Rechtsvorschlags am 5. Oktober 2004 oder durch anderes konkludentes Verhalten nach Art. 21 OR angefochten. Vielmehr sei die Vereinbarung erstmals mit der Klageantwortschrift vom 30. März 2005 - und damit verspätet - angefochten worden.
B.c Mit Rückweisungsbeschluss vom 16. Juni 2008 hob das Obergericht des Kantons Zürich das Urteil des Bezirksgerichts Horgen vom 27. November 2006 auf, soweit es nicht bereits durch die Beschlüsse und das Vor-Urteil vom 6. November 2007 ersetzt worden war, und wies die Sache zur Durchführung eines Beweisverfahrens an das Bezirksgericht Horgen zurück. Dieses hiess die Klage mit Urteil vom 31. Januar 2012 im Betrag von Fr. 327'500.-- nebst Zins zu 5 % seit 6. Oktober 2004 gut.
B.d Eine vom Beklagten gegen das bezirksgerichtliche Urteil vom 31. Januar 2012 erhobene Berufung wies das Obergericht mit Urteil vom 23. Mai 2012 ab.
C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, es seien das Urteil des Obergerichts des Kantons Zürich vom 23. Mai 2012 und das Vor-Urteil vom 6. November 2007 sowie Dispositiv-Ziffer 2 des obergerichtlichen Beschlusses vom 6. November 2007 aufzuheben, und es sei die Klage infolge Übervorteilung abzuweisen. Eventualiter sei die Sache zur Ergänzung der Berufungsbegründung bezüglich Vertragsanfechtung gemäss Art. 21 OR und zu neuer Entscheidung an das Obergericht zurückzuweisen.
Die Beschwerdegegnerin beantragt die Abweisung der Beschwerde. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Der Beschwerdeführer hat dem Bundesgericht am 17. September 2012 eine Replik, die Beschwerdegegnerin am 8. Oktober 2012 eine Duplik eingereicht.
D. Mit Verfügung vom 16. Juli 2012 erteilte das Bundesgericht der Beschwerde aufschiebende Wirkung.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 137 III 417 E. 1 S. 417 mit Hinweisen).
1.1 Angefochten ist ein Endentscheid einer letzten kantonalen Instanz (Art. 75 Abs. 1 und Art. 90 BGG). Dagegen steht die Beschwerde in Zivilsachen offen. Mitangefochten ist ein Zwischenentscheid bzw. Vorentscheid über die Zulässigkeit der Änderung der klägerischen Rechtsbegehren bzw. über die materiellrechtliche Frage der Verwirkung der Anfechtung des Vertrags vom 17. Februar 2004 wegen angeblicher Übervorteilung des Beschwerdeführers. Dieser Entscheid war nicht direkt angefochten worden und ist damit durch Beschwerde gegen den Endentscheid anfechtbar, auf dessen Inhalt er sich auswirkt (vgl. Art. 93 Abs. 3 BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 II 384 E. 2.2.1; 133 II 249 E. 1.4.1; je mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Macht der Beschwerdeführer beispielsweise eine Verletzung des Willkürverbots (Art. 9 BV) geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich; er hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (BGE 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5 S. 5; 133 III 439 E. 3.2 S. 444).
Willkür im Sinne von Art. 9 BV liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 138 IV 13 E. 5.1 S. 22; 137 I 1 E. 2.4 S. 5; 136 I 316 E. 2.2.2. S. 318 f.; je mit Hinweisen).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie Art. 106 Abs. 2 BGG, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Ausserdem hat der Beschwerdeführer mit Aktenhinweisen darzulegen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen genannt hat (Urteile 4A_341/2011 vom 21. März 2012 E. 1.5.1; 4A_614/2011 vom 20. März 2012 E. 1.2; 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: BGE 134 III 570). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. BGE 133 III 350 E. 1.3 S. 351 f., 393 E. 7.1 S. 398, 462 E. 2.4 S. 466 f.).
1.4 Der Beschwerdeführer führt zur Begründung seines Standpunkts, dass er den am 17. Februar 2004 abgeschlossenen Vertrag innert Jahresfrist konkludent angefochten habe, verschiedene Umstände ins Feld, die sich nicht auf die verbindlichen Sachverhaltsfeststellungen im angefochtenen Urteil (Art. 105 Abs. 1 BGG) stützen lassen. Er wirft der Vorinstanz zwar eine Verletzung des Willkürverbots (Art. 9 BV) und des rechtlichen Gehörs (Art. 29 Abs. 2 BV) vor, verfehlt jedoch die gesetzlichen Begründungsanforderungen an entsprechende Verfassungsrügen (vgl. Art. 106 Abs. 2 BGG). Die Vorbringen haben daher unbeachtet zu bleiben.
2. Der Beschwerdeführer wirft der Vorinstanz vor, sie sei zu Unrecht davon ausgegangen, dass er nicht rechtzeitig innerhalb der Jahresfrist von Art. 21 OR erklärt habe, den unterzeichneten Vertrag nicht halten zu wollen.
2.1 Liegen die Voraussetzungen einer Übervorteilung nach Art. 21 Abs. 1 OR vor, so kann der Verletzte innerhalb eines Jahres erklären, dass er den Vertrag nicht halte, und das schon Geleistete zurückverlangen. Die Jahresfrist beginnt dabei mit dem Abschluss des Vertrags (Art. 21 Abs. 2 OR).
Die Vorinstanz erwog, die Anfechtungserklärung des Beschwerdeführers sei verspätet erfolgt, weshalb sie nicht weiter prüfte, ob tatsächlich eine Übervorteilung vorliegen würde. Der Beschwerdeführer führt grundsätzlich zutreffend aus, dass die einseitige Willenserklärung des Anfechtenden nicht ausdrücklich erfolgen muss, sondern sich auch aus den Umständen ergeben kann. Dies hat die Vorinstanz jedoch entgegen der in der Beschwerde vertretenen Ansicht nicht verkannt; vielmehr hat sie richtigerweise erwogen, dass die empfangsbedürftige einseitige Willenserklärung des Anfechtenden, den Vertrag nicht zu halten, auch konkludent erfolgen kann.
2.2 Die Vorinstanz hat zudem zutreffend ausgeführt, dass der Beschwerdeführer an die am 17. Februar 2004 zwischen den Parteien zustande gekommene Vereinbarung gebunden ist und der Vertrag erst nach diesem Vertragsschluss gemäss Art. 21 OR angefochten werden kann. Sie hat ohne Verletzung von Bundesrecht erwogen, dass das konkludente Verhalten, aus dem eine Anfechtungserklärung abgeleitet wird, ebenfalls erst nach dem Vertragsschluss erfolgt sein müsse und nicht davor. Der Vorinstanz kann keine Verletzung von Art. 21 OR vorgeworfen werden, wenn sie etwa aufgrund des Umstands, dass der Beschwerdeführer die Vertragsunterzeichnung zunächst mehrfach verweigert hatte, nicht zugunsten des Beschwerdeführers auf eine spätere konkludente Anfechtungserklärung schloss.
2.3 Mit der Vorinstanz ist davon auszugehen, dass in dem vom Beschwerdeführer am 5. Oktober 2004 erhobenen Rechtsvorschlag gegen die von der Beschwerdegegnerin in Betreibung gesetzte Forderung im Betrag von Fr. 500'000.-- keine Anfechtungserklärung nach Art. 21 Abs. 1 OR erblickt werden kann. Sie hat ohne Bundesrechtsverletzung darauf abgestellt, dass der Beschwerdeführer den Rechtsvorschlag ohne jede Begründung erhoben hat und dass es sich beim Rechtsvorschlag um eine Erklärung handelt, die nicht an den Betreibungsgläubiger, sondern das Betreibungsamt bzw. den Überbringer des Zahlungsbefehls zuhanden des Betreibungsamts zu richten ist, wobei die Wirkung des Rechtsvorschlags einzig betreibungsrechtlicher Art ist, indem dieser nach Art. 78 Abs. 1 SchKG zur Einstellung der Betreibung führt. Zwar wird der Inhalt des Rechtsvorschlags dem Betreibenden auf der für ihn bestimmten Ausfertigung des Zahlungsbefehls mitgeteilt (Art. 76 Abs. 1 SchKG); erfolgt der Rechtsvorschlag unbegründet, lässt sich daraus jedoch lediglich ableiten, dass sich der Betreibungsschuldner der Zwangsvollstreckung widersetzt. Die Vorinstanz hat dafür gehalten, dass der Beweggrund für ein solches Verhalten rechtlicher, aber auch ausserrechtlicher Art sein kann, weshalb im blossen Umstand, dass in einem Betreibungsverfahren ein unbegründeter Rechtsvorschlag erhoben wird, keine konkludente Erklärung zu erblicken sei, den Vertrag anzufechten. Darin ist keine Bundesrechtsverletzung zu erkennen. Mit der Vorinstanz kann auch im unentschuldigten Fernbleiben des Beschwerdeführers von der friedensrichterlichen Sühnverhandlung vom 9. November 2004 keine Anfechtungserklärung gesehen werden.
2.4 Abgesehen davon hat die Vorinstanz darauf abgestellt, dass aufgrund des Ergebnisses der persönlichen Befragung des Beschwerdeführers feststehe, dass er mit seinem Rechtsvorschlag den Vertrag mit der Beschwerdegegnerin nicht grundsätzlich in Frage stellen wollte. So habe er anlässlich seiner Befragung ausgeführt, er habe der Beschwerdegegnerin nach der Betreibung über den Betrag von Fr. 500'000.-- gesagt, "dass wir darüber reden müssten, denn sie wusste, dass ich noch ca. Fr. 200'000.00 Gerichtskosten und Bussen bezahlen muss"; zudem habe er noch weitere Schulden von Fr. 100'000.-- gehabt. Er habe der Beschwerdegegnerin daher gesagt, "dass ich sonst ruiniert wäre und mehr bezahlen müsste, als ich erhalten habe". Aus seinen Aussagen gehe hervor, so die Vorinstanz weiter, dass er sich nach Erhalt der Betreibung gegen die Höhe des von der Beschwerdegegnerin konkret verlangten Betrags gewehrt habe, nicht jedoch gegen ihren Vertragsanspruch als solchen.
Die Schlüsse der Vorinstanz hinsichtlich des tatsächlichen Willens des Beschwerdeführers bei Erhebung des Rechtsvorschlags beruhen auf Beweiswürdigung. Der Beschwerdeführer bringt vor, entgegen dem angefochtenen Entscheid lasse sich aus seinen Aussagen vor Gericht ein entsprechender Schluss hinsichtlich seines tatsächlichen Willens nicht ziehen und wirft der Vorinstanz eine offensichtlich unhaltbare Sachverhaltsfeststellung (Art. 97 Abs. 1 BGG) bzw. Willkür (Art. 9 BV) vor. Er verkennt mit seinen Ausführungen jedoch, dass ein Entscheid nach konstanter Praxis nicht schon dann willkürlich ist, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 138 IV 13 E. 5.1 S. 22; 137 I 1 E. 2.4 S. 5; 136 I 316 E. 2.2.2. S. 318 f.). Wird berücksichtigt, dass die unterzeichnete Vereinbarung vom 17. Februar 2004 den Beschwerdeführer nicht zur Zahlung einer vertraglich bezifferten Geldsumme verpflichtete, und der von der Beschwerdegegnerin in Betreibung gesetzte Betrag von Fr. 500'000.-- angesichts der ihr versprochenen "Hälfte des [ihm] zustehenden Anteils am Nachlass" unbestrittenermassen weit zu hoch angesetzt war, erscheint die vorinstanzliche Feststellung, der Beschwerdeführer habe mit seinem Rechtsvorschlag den unterzeichneten Vertrag nicht grundsätzlich in Frage stellen wollen, nicht als offensichtlich unhaltbar.
2.5 Entgegen der in der Beschwerde vertretenen Ansicht hält die vorinstanzliche Erwägung, wonach nicht davon ausgegangen werden könne, der Beschwerdeführer habe den Vertrag vom 17. Februar 2004 durch die Erhebung des Rechtsvorschlags am 5. Oktober 2004 oder durch anderes konkludentes Verhalten angefochten, vor Bundesrecht stand. Seine Anfechtungserklärung mit Klageantwortschrift vom 30. März 2005 erfolgte verspätet und die Vorinstanz ist zu Recht davon ausgegangen, dass er sein Recht auf Anfechtung des geschlossenen Vertrags wegen Übervorteilung (Art. 21 OR) verwirkte.
Die Vorbringen des Beschwerdeführers, Ziffer 2 der vorinstanzlichen Beschlüsse vom 6. November 2007 sowie das Urteil vom 23. Mai 2012 fussten auf der falschen Prämisse der Verwirkung der Anfechtung nach Art. 21 OR, erweisen sich somit als unbegründet. Es erübrigt sich daher, auf die weiteren Ausführungen in der Beschwerde zu den Voraussetzungen des Anfechtungsgrunds der Übervorteilung einzugehen.
3. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. November 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Leemann