Sachverhalt:
A.
Im Juni 1989 wurden A._ (Kläger, Beschwerdeführer) und B._ (Beklagte, Beschwerdegegnerin) geschieden. In der Scheidungskonvention regelten sie unter anderem die güterrechtlichen Ansprüche und vereinbarten eine Saldoklausel.
Im Zusammenhang mit einem vom Kläger angestrebten Verkauf einer Liegenschaft in Spanien hielten die Parteien am 12. Februar 2009 in einer amtlich beglaubigten "Erläuterung" des Scheidungsurteils insbesondere fest, die Meinung sei damals gewesen, dass alle in der Konvention nicht ausdrücklich der Beklagten zugesprochenen Güter im Alleineigentum des Klägers verbleiben bzw. in dieses fallen sollten, namentlich auch die fragliche Liegenschaft in Spanien. Gleichentags unterzeichnete der Kläger zudem eine von der Beklagten vorbereitete "Bestätigung" mit folgendem Wortlaut:
"Der Unterzeichnende bestätigt, [der Beklagten] FR. 100'000.- zu schulden. Er wird diesen Betrag sofort nach Erhalt des Erlöses aus dem Liegenschaftsverkauf in Spanien auf ihr Bankkonto [...] überweisen."
In der Folge verkaufte der Kläger die Liegenschaft. Unter Berufung auf Nichtigkeit bzw. Willensmangel weigerte er sich alsdann aber, die Fr. 100'000.-- gemäss Schuldanerkennung zu bezahlen und erhob in der diesbezüglichen Betreibung der Beklagten Rechtsvorschlag.
B.
Der Einzelrichter am Bezirksgericht Meilen erteilte der Beklagten am 8. Februar 2010 die provisorische Rechtsöffnung für Fr. 100'000.-- zuzüglich Zins.
Am 1. März 2010 reichte der Kläger beim Bezirksgericht Meilen eine Aberkennungsklage ein, mit der er im Wesentlichen die kostenfällige Feststellung des Nichtbestands der in Betreibung gesetzten Forderung beantragte. Mit Urteil vom 10. Mai 2016 wies das Gericht die Klage ab.
Das Obergericht des Kantons Zürich wies die vom Kläger am 17. Juni 2016 erhobene Berufung mit Urteil vom 29. November 2016 ab.
C.
Mit Blick auf die unterschiedliche Regelung des Fristenstillstands (<ref-law>) ruft der Kläger das Bundesgericht zunächst am 21. Dezember 2016 mit einem Gesuch um Gewährung der aufschiebenden Wirkung an. Die darin in Aussicht gestellte Beschwerde in Zivilsachen folgt am 20. Januar 2017. In der Sache beantragt der Beschwerdeführer, das Urteil des Obergerichts sei aufzuheben und die Aberkennungsklage sei gutzuheissen.
Die Beschwerdegegnerin beantragt in einem ersten Schritt, das Gesuch um aufschiebende Wirkung sei abzuweisen, und stellt gleichzeitig ein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. In ihrer Beschwerdeantwort beantragt sie, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Obergericht hat auf eine Vernehmlassung sowohl zum Gesuch als auch zur Beschwerde verzichtet.
Mit Präsidialverfügung vom 26. Januar 2017 wurde einerseits der Beschwerde die aufschiebende Wirkung gewährt und andererseits der Beschwerdegegnerin für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege bewilligt; antragsgemäss wurde ihr Rechtsanwalt Dr. Andrea Taormina, Zürich, als Rechtsbeistand beigegeben.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 S. 397 mit Hinweisen). Beim angefochtenen Urteil handelt es sich um einen Endentscheid im Sinne von <ref-law> einer letzten kantonalen Instanz (<ref-law>) und das Streitwerterfordernis (<ref-law>) ist erfüllt. Auf die Beschwerde in Zivilsachen ist - unter Vorbehalt einer genügenden Begründung (<ref-law>) - einzutreten.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f. mit Hinweisen). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.1 S. 53 mit Hinweis). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei willkürlich (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90 mit Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.3. Macht eine Partei geltend, das Willkürverbot sei verletzt, genügt es nicht, wenn sie bloss ihre eigene Darstellung derjenigen der Vorinstanz gegenüberstellt und behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352 mit Hinweisen). Sie hat vielmehr im Einzelnen anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern dieser an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 1.2 S. 234; je mit Hinweisen).
Die Beweiswürdigung erweist sich als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen hat oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 4.2 S. 234 mit Hinweisen). Allein dass die vom Gericht gezogenen Schlüsse nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmen, belegt noch keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Entsprechend genügt es nicht, lediglich einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem eine freie Sachverhaltsprüfung zukäme (vgl. nur etwa Urteil 4A_606/2015 vom 19. April 2016 E. 2.1).
3.
Der Beschwerdeführer macht zunächst eine "Verletzung prozessrechtlicher Bestimmungen" geltend. Er habe erstinstanzlich die Beweisabnahme durch das Kollegialgericht verlangt, was ihm zugestanden habe nach § 144 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (nachfolgend: ZPO/ZH), die im erstinstanzlichen Verfahren noch anwendbar gewesen sei. An der Beweisabnahme habe nebst Gerichtspräsident Meier und Bezirksrichterin Stingel Ersatzrichterin [recte: Bezirksrichterin] Dr. Proff Hauser teilgenommen; am Urteil mitgewirkt habe alsdann jedoch nicht die Letztgenannte, sondern Ersatzrichter Winter. Die Vorinstanz sei der Ansicht gewesen, der Anspruch auf rechtliches Gehör sei dennoch gewahrt, da sich das neue Gerichtsmitglied den Prozessstoff durch Aktenstudium, namentlich die Protokolle der Beweiserhebungen, habe zugänglich machen können. Diese Erwägung verletze das rechtliche Gehör, denn er habe ausdrücklich die Beweisaufnahme durch das Kollegialgericht verlangt, weil eine persönliche Präsenz bei den Zeugen- und Parteieinvernahmen allenfalls ein anderes Bild vermitteln könne als die blosse Kenntnisnahme der Informationen aus einem Protokoll. Wie die von Oberrichter Müller im Sinne von § 124 des zürcherischen Gesetzes über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess vom 10. Mai 2010 zu Protokoll gebrachte Minderheitsmeinung zeige, teile dieser seine Ansicht, auch wenn Oberrichter Müller nicht mit einer Verletzung des rechtlichen Gehörs argumentiere, sondern mit der rechtmässigen Zusammensetzung des Gerichts gemäss <ref-law>. Indem die Vorinstanz das Urteil der Erstinstanz nicht kassiert habe, habe sie <ref-law> verletzt und nach seiner Auffassung zudem auch <ref-law>.
3.1.
3.1.1. Ob eine nachträgliche Änderung im einmal gebildeten Spruchkörper zulässig ist, hat die ältere Rechtsprechung nicht unter dem Blickwinkel der Garantie des verfassungsmässigen Gerichts geprüft, sondern als Verletzung des Anspruchs auf rechtliches Gehör. Danach haben die Prozessparteien einen Anspruch darauf, dass kein Gerichtsmitglied urteilt, das nicht Kenntnis von ihren Vorbringen und vom Beweisverfahren hat. Der Anspruch auf rechtliches Gehör ist deshalb verletzt und das Verfahren (ganz oder teilweise) zu wiederholen, wenn nicht alle an der Beurteilung beteiligten Gerichtsmitglieder an der ausschliesslich mündlichen, in keinem Protokoll festgehaltenen Beweisabnahme mitgewirkt haben. Er ist umgekehrt gewahrt, soweit dem an der Beurteilung neu teilnehmenden Gerichtsmitglied der Prozessstoff durch Aktenstudium zugänglich gemacht werden kann und dadurch alle am Urteil mitwirkenden Gerichtsmitglieder die gleichen Kenntnisse haben (zu alledem Urteil 4A_271/2015 vom 29. September 2015 E. 6.1 mit Hinweisen, nicht publ. in: <ref-ruling>).
3.1.2. Nach der neueren Rechtsprechung kann auch der Anspruch auf ein durch Gesetz geschaffenes Gericht verletzt sein (<ref-law>), wenn die Zusammensetzung des Spruchkörpers im Verlauf des Verfahrens ohne hinreichende sachliche Gründe geändert wird. Jede Besetzung, die sich nicht mit sachlichen Gründen rechtfertigen lässt, verletzt die Garantie des verfassungsmässigen Gerichts. Eine Veränderung der Besetzung ist einzelfallbezogen zulässig, beispielsweise wenn ein Mitglied des Gerichts aus Altersgründen ausscheidet oder wegen einer länger dauernden Krankheit oder Mutterschaftsurlaub das Amt nicht ausüben kann oder wenn eine Neukonstituierung des Gerichts die Auswechslung erfordert (vgl. hierzu ebenfalls das zit. Urteil 4A_271/2015 E. 6.2 mit zahlreichen Hinweisen).
3.2. Hinsichtlich dem Vorwurf, der Anspruch auf rechtliches Gehör sei verletzt, stellte die Vorinstanz fest, die Beweiserhebungen seien im Detail protokolliert worden und zudem bestehe eine Tonbandaufnahme der Einvernahmen. Das neue Gerichtsmitglied habe sich daher ein vollständiges Bild über den bisherigen Verfahrensablauf und das Beweisverfahren machen können. Weiter komme hinzu, dass erstens mehrere Zeugeneinvernahmen, insbesondere diejenige des Hauptzeugen, auf dem Rechtshilfeweg in Spanien und damit schriftlich erfolgt seien, und dass zweitens die persönliche Befragung der Parteien nach <ref-law>/ZH keine Beweiskraft zugunsten der jeweiligen Partei habe.
All dies wird vom Beschwerdeführer nicht in Abrede gestellt. In Anbetracht dessen ist mit Blick auf die bundesgerichtliche Rechtsprechung (vgl. E. 3.1.1), die vom Beschwerdeführer ebenfalls nicht in Frage gestellt wird, nicht ersichtlich, worin die Verletzung des Anspruchs auf rechtliches Gehör liegen könnte.
Sollte der Beschwerdeführer dies damit zu begründen suchen, an der Urteilsfällung habe ein anderes Gerichtsmitglied mitgewirkt als an der Beweiserhebung, obwohl er gestützt auf <ref-law>/ZH eine Beweisabnahme durch das Gesamtgericht verlangt habe, was einem Wechsel in der Besetzung des Gerichts entgegenstehe, übersieht er, dass es insofern allenfalls um die Verletzung kantonalen Prozessrechts geht; aus dem rechtlichen Gehör ergibt sich kein dahingehender Anspruch (siehe nur etwa <ref-ruling> E. 1e S. 134 f.; vgl. ferner <ref-ruling> E. 2 S. 500 f.). Die Verletzung kantonalen Rechts ist qualifiziert zu rügen (vgl. E. 2.1). Gleichwohl setzt sich der Beschwerdeführer nicht mit dem kantonalen Recht auseinander, womit seine Ausführungen den Rügeanforderungen nicht genügen. Auf die kantonale Rechtslage ist daher nicht einzugehen.
3.3. Zum Anspruch, von einem durch Gesetz geschaffenen Gericht beurteilt zu werden (<ref-law>), namentlich zur rechtmässigen Zusammensetzung des Spruchkörpers trotz erfolgtem Wechsel in der Besetzung, äusserte sich die Vorinstanz nicht. Sie scheint - anders als Oberrichter Müller in seinem Minderheitsvotum - davon ausgegangen zu sein, dies werde vom Beschwerdeführer in der Berufung gar nicht erst gerügt. In seiner Beschwerde an das Bundesgericht macht der Beschwerdeführer nun ausdrücklich geltend, der Spruchkörper sei erstinstanzlich ohne hinreichende sachliche Gründe geändert worden, wobei diese Auswechslung weder den Parteien mitgeteilt noch im Urteil angesprochen worden sei. Seine Rügen vor der Vorinstanz seien eindeutig gewesen und hätten sich darauf bezogen, dass während des Verfahrens ein Richter ohne Not ausgewechselt worden sei und sich das erstinstanzliche Gericht über diesen Umstand nicht habe vernehmen lassen.
3.3.1. Macht eine beschwerdeführende Partei vor Bundesgericht die Verletzung einer Verfahrensgarantie geltend (etwa Ausstand oder rechtliches Gehör), die sie bereits vor der Vorinstanz hätte geltend machen können und müssen, verhält sie sich treuwidrig. Die entsprechende Rüge ist vom Bundesgericht nicht zu behandeln (vgl. etwa <ref-ruling> E. 2 S. 640; ferner Urteil 5A_235/2016 vom 15. August 2016 E. 5.2).
3.3.2. Mit Zustellung des Urteils erhielt der Beschwerdeführer Kenntnis davon, in welcher Zusammensetzung das erstinstanzliche Gericht dieses fällte. Hat er in der Folge nicht spätestens in der Berufung geltend gemacht, die verfahrensrechtliche Garantie auf Beurteilung durch ein verfassungsmässiges Gericht sei im erstinstanzlichen Verfahren verletzt worden, ist es hierfür im bundesgerichtlichen Verfahren nun zu spät.
Dem Beschwerdeführer ist zuzustimmen, dass insofern nicht massgeblich ist, ob er seine Vorbringen in der Berufung in rechtlicher Hinsicht zutreffend einstufte oder nicht; wesentlich ist, ob er sich inhaltlich auf eine entsprechende Verletzung berief. Für das Verständnis und die Interpretation von Rügen einer anwaltlich vertretenen Partei sind die von ihr verwendeten (Rechts) Begriffe aber durchaus zu berücksichtigen.
Entgegen der - im Übrigen ohne die erforderlichen Aktenhinweise (vgl. E. 2.2) erfolgenden - Darstellung des Beschwerdeführers trifft es nun nicht zu, dass sich seine Rügen in der Berufung inhaltlich darauf bezogen hätten, dass während dem laufenden Verfahren ohne Not ein Richter ausgewechselt worden sei und sich die Erstinstanz nicht habe dazu vernehmen lassen. Gerügt wurde vielmehr, dass die Beweisabnahme durch das Kollegialgericht verlangt worden sei, weshalb es das rechtliche Gehör verletze, wenn alsdann am Urteil ein Richter mitwirke, der an der Beweisabnahme nicht anwesend gewesen sei. Die Beweisverhandlung sei lege artis durchzuführen. Zumal der Beschwerdeführer seinen Antrag um Beweisabnahme durch das Kollegialgericht, auf den er sich dabei berief, damit begründet hatte, dass "ein Grossteil der Beweisabnahmen auf Beweisaussagen der Parteien " (Hervorhebung hinzugefügt) beruhen würden, ist diese Rüge auch im Zusammenhang mit der in der Berufung sogleich daran anschliessenden zu lesen. Dort beanstandete er als Mangel im Beweisverfahren, die Erstinstanz habe es abgelehnt, die Befragung von ihm zu wiederholen, obwohl er dies im erstinstanzlichen Verfahren verlangt habe. Die (implizite) Auffassung der Vorinstanz, wonach der Beschwerdeführer in der Berufung nur das Beweisverfahren sowie dessen Durchführung beanstandete und den Anspruch auf rechtliches Gehör dadurch verletzt sah, die Zulässigkeit des Wechsels im Spruchkörper als solchen hingegen nicht in Frage stellte, mithin inhaltlich keine Verletzung des Anspruchs auf ein durch Gesetz geschaffenes Gericht geltend machte, erscheint in Anbetracht dessen zutreffend.
3.3.3. Wird erstmals im bundesgerichtlichen Verfahren geltend gemacht, die Verfahrensgarantie der Beurteilung durch ein auf Gesetz beruhendes Gericht sei verletzt worden, erfolgt dies verspätet und ist treuwidrig. Infolgedessen ist diese Rüge nicht zu behandeln (vgl. E. 3.3.1).
4.
4.1. Gemäss den Feststellungen der Erstinstanz, auf die sich die Vorinstanz bezieht, habe der Beschwerdeführer am 8. Oktober 2008 mit Dritten einen Verkaufsvertrag über die Liegenschaft in Spanien abgeschlossen. Darin habe er sich u.a. zu Schadenersatzzahlungen verpflichtet, sollte die Übertragung nicht bis Ende Januar 2009 erfolgt sein. Der (später abgesagte) Termin beim Notar in Spanien sei ursprünglich auf den 26. Januar 2009 festgesetzt gewesen. Am 23. Januar 2009 habe der spanische Treuhänder des Beschwerdeführers diesem jedoch mitgeteilt, der Notar habe zusätzlich zur Scheidungskonvention eine Erläuterung selbiger verlangt (entweder vom Scheidungsgericht oder von den Parteien), aus der sich ergebe, dass die Liegenschaft in Spanien darin inbegriffen sei und der Beschwerdeführer darüber verfügen könne. Der Beschwerdeführer habe daraufhin die Beschwerdegegnerin am 28. Januar 2009 telefonisch kontaktiert und sie um eine solche Erklärung ersucht, was diese aber abgelehnt habe. Am 30. Januar 2009 habe der Beschwerdeführer sodann eine Zusatzvereinbarung zum Verkaufsvertrag abgeschlossen und sich darin zu weiteren Schadenersatzzahlungen verpflichtet, sollte die Liegenschaft nicht bis zum 13. März 2009 übertragen worden sein.
In Bezug auf die Schuldanerkennung vom 12. Februar 2009 stellte die Vorinstanz sodann fest, die Liegenschaft in Spanien, die der Beschwerdeführer im Frühjahr 2009 aufgrund des Verkaufsvertrags vom Oktober 2008 habe übertragen wollen, sei von ihm bereits einmal verkauft worden; und zwar während dem Scheidungsverfahren im Jahre 1989 für Fr. 400'000.- an den Onkel seines damaligen Anwalts. Zu diesem Wert sei die Liegenschaft damals auch in die güterrechtliche Abrechnung eingestellt worden. Im Zusammenhang mit dem erneuten Verkauf derselben Liegenschaft durch den Beschwerdeführer sei die Beschwerdegegnerin daher argwöhnisch geworden, ob diese bei der Scheidung tatsächlich verkauft worden sei und ob der damals behauptete Verkaufspreis angemessen gewesen sei. Ihrer Meinung nach habe ihr möglicherweise noch ein güterrechtlicher Anteil am Erlös des (zweiten) Verkaufs im Jahre 2009 zugestanden, was der Beschwerdeführer jedoch bestritten habe. Auf ihr Verlangen hin habe er am 10. Februar 2009, also zwei Tage vor Unterzeichnung der Schuldanerkennung, eine schriftliche Aufstellung "Rekonstruktion Güterrecht 1989" über ihre seinerzeit abgegoltenen güterrechtlichen Ansprüche auf der Basis eines Verkaufserlöses von Fr. 400'000.- erstellt. Darin habe er unter dem Titel "Vorschlag" unter Heranziehung des Verkaufspreises im Jahre 2009 einen güterrechtlichen Mehranspruch "zu Gunsten B._" von ca. Fr. 71'000.- errechnet. Diese Berechnung habe er ihr gleichentags in den Briefkasten gelegt. Dass die Beschwerdegegnerin in der Folge eine Beteiligung am Verkaufserlös gefordert habe, habe ebenso auf der Hand gelegen wie ein gewisser Diskussionsbedarf über die aufgeführten Beträge, die diverse unbelegte Verkaufsspesen von rund EUR 67'700.- sowie unbelegte Abzüge von ca. Fr. 120'000.- beinhaltet hätten. In diesem Sinne könne die Schuldanerkennung über Fr. 100'000.- zu Gunsten der Beschwerdegegnerin als vergleichsweise Einigung über die angekündigte, vom Beschwerdeführer bestrittene und auch betragsmässig nicht abschliessend bezifferbare güterrechtliche Beteiligung der Beschwerdegegnerin am Verkaufserlös qualifiziert werden. Beide Parteien hätten sich auf einen Kompromiss verständigt, um einen länger dauernden Rechtsstreit zur Feststellung und Bezifferung allfälliger Ansprüche zu vermeiden.
4.2. Der Beschwerdeführer macht geltend, die Sachverhaltsfeststellung sei in mehrfacher Hinsicht willkürlich. Bei seiner Kritik begnügt er sich allerdings teilweise damit, dieses oder jenes als willkürlich zu bezeichnen (etwa dass die Beschwerdegegnerin beim zweiten Verkauf argwöhnisch geworden sei), ohne dies zu erläutern. Auf solches ist nicht einzugehen (E. 2.1 und 2.3). Zu behandeln bleiben folgende Willkürrügen, wobei auch bei diesen zuweilen fraglich ist, ob es sich nicht bloss um appellatorische Kritik handelt:
4.2.1. Der Beschwerdeführer erachtet es als willkürlich, dass die Vorinstanz das von ihm erstellte Dokument "Rekonstruktion Güterrecht 1989" als Offerte an die Beschwerdegegnerin betrachtet habe. Aufgrund der Saldoklausel in der Scheidungskonvention seien die Parteien nämlich güterrechtlich vollständig auseinandergesetzt und der Beschwerdegegnerin stehe keine Forderung mehr zu. Zudem habe er das Dokument nur auf deren Aufforderung hin erstellt und ihr mündlich anhand der Zahlen erläutert, dass ihr keine Ansprüche mehr zustünden. Im Übrigen sei im Dokument auch vermerkt, dass weitere Kosten in der Berechnung noch nicht berücksichtigt worden seien.
Die Vorinstanz hielt fest, die Behauptung des Beschwerdeführers, wonach diese Aufstellung bloss theoretischer Natur gewesen sei, überzeuge nicht. Dem stehe der Wortlaut des Dokuments ebenso entgegen wie deren Hintergrund, namentlich die Weigerung der Beschwerdegegnerin zur Abgabe der gewünschten Erläuterung wegen ihres Argwohns bezüglich des zweiten Verkaufs. Dem ist nichts anzufügen, von Willkür kann jedenfalls keine Rede sein.
4.2.2. Der Beschwerdeführer empfindet es sodann als willkürlich, dass die Vorinstanz seine Behauptung als unbewiesen erachtet habe, wonach die Beschwerdegegnerin den Notar in Spanien vor dem 23. Januar 2009 kontaktiert und derart beeinflusst habe, dass dieser die zusätzliche Erläuterung der Scheidungskonvention verlangt habe.
Um Willkür darzutun, pflückt der Beschwerdeführer insbesondere die Aussage eines Zeugen heraus und unterstellt dieser eine vom Zeugen angeblich gemeinte Chronologie. Daraus soll sich laut Beschwerdeführer ergeben, dass der Zeuge bestätigt habe, dass die Beschwerdegegnerin vor dem 23. Januar 2009 mit dem Notar Kontakt aufgenommen habe. Damit würdigt der Beschwerdeführer bloss diese Zeugenaussage anders als die Vorinstanz, was noch keine Willkür belegt (vgl. E. 2.3). Selbst wenn übrigens der Zeuge die vom Beschwerdeführer behauptete Aussage gemacht hätte, wäre es nicht willkürlich, wenn die Vorinstanz gleichwohl eine Kontaktaufnahme vor dem 23. Januar 2009 als unbewiesen erachtet hätte, da diese Aussage des Treuhänders des Beschwerdeführers auf blossem Hörensagen basieren würde. Wie die Vorinstanz treffend festhielt, übergeht der Beschwerdeführer in diesem Zusammenhang sodann, dass dieser Zeuge auch aussagte, der Notar habe die Erläuterung allenfalls aus eigenen Rechtsgründen verlangt.
Willkür legt der Beschwerdeführer ebenso wenig dar, wenn er die Aussage einer Zeugin als eindeutig bezeichnet, welche die Vorinstanz - im Übrigen völlig zu Recht - als vage erachtete.
Schliesslich vermag er auch mit seinen Ausführungen zur Neubauerklärung die von der Vorinstanz festgestellte Beweislosigkeit nicht als willkürlich darzutun, zumal weder erstellt noch vom Beschwerdeführer auch nur behauptet ist, dass die Voraussetzungen für eine solche Neubauerklärung gleich wären wie diejenigen für eine Übertragung der Liegenschaft.
4.2.3. Der Beschwerdeführer ist schliesslich der Ansicht, die Vorinstanz habe willkürlich festgestellt, die Liegenschaft sei mit Fr. 400'000.- in die güterrechtliche Abrechnung eingestellt worden. Bereits in seiner Aberkennungsklage habe er dargelegt, "dass das Grundstück mit ca. Fr. 400'000 güterrechtliche Auseinandersetzung eingeflossen ist. Der Anrechnungsbetrag für die güterrechtliche Auseinandersetzung war in jedem Fall höher (...) ". Die Rüge ist in sich widersprüchlich und nur schwer nachvollziehbar. Den berücksichtigten Wert gibt der Beschwerdeführer in seiner "Rekonstruktion Güterrecht 1989" übrigens ebenfalls mit Fr. 400'000.- an. Willkür ist auch insofern nicht dargetan.
5.
In rechtlicher Hinsicht führte die Vorinstanz aus, nach <ref-law> könne ein massgeblicher Willensmangel auch darin bestehen, dass der Vertragspartner eine Notlage des Bedrohten benutze, um ihm übermässige Vorteile abzunötigen. Gedroht werde zwar mit der an sich zulässigen Wahrnehmung eines Rechts, doch lasse man sich für die Unterlassung dieser Rechtsausübung übermässige Vorteile einräumen. Insofern konkurriere <ref-law> mit der Übervorteilung nach <ref-law>, wobei es bei Zweiter keiner Drohung bedürfe, dafür aber eines grösseren, "offenbaren" Missverhältnisses zwischen den Leistungen. Gehe es wie hier um einen Vergleich, sei der besonderen Natur dieses Vertrags Rechnung zu tragen, solle damit doch gerade ein Streit oder eine Ungewissheit über einen Rechtsanspruch durch gegenseitige Zugeständnisse beigelegt werden. Sei aufgrund der Privatautonomie die Ausgewogenheit von Leistung und Gegenleistung bereits grundsätzlich nur mit Zurückhaltung zu überprüfen, gelte dies in besonderem Masse für Vergleichsverträge. Ein gerichtlicher Eingriff gestützt auf <ref-law> oder <ref-law> sei hier nur in absoluten Ausnahmefällen denkbar. Vorliegend könne weder von einem offenbaren Missverhältnis gemäss <ref-law> noch einem übermässigen Vorteil für die Beschwerdegegnerin gemäss <ref-law> die Rede sein.
5.1. Dagegen bringt der Beschwerdeführer einzig vor, anwendbar sei nicht <ref-law>, sondern <ref-law>. Denn die "Geltendmachung eines Rechtes" im Sinne von <ref-law> beziehe sich nicht auf die Möglichkeit, einen Vertrag nicht zu unterzeichnen, wie dies hier geschehen sei. Gemeint sei damit nur die Wahrnehmung eines Rechtes, das niemandem verwehrt werden könne. Das Recht der Beschwerdegegnerin, nicht aufs Notariat mitzukommen, um einen Vertrag zu unterzeichnen, falle somit nicht unter die Privilegierung von Abs. 2 von <ref-law>.
5.2. Der Beschwerdeführer macht nicht geltend, die Beschwerdegegnerin sei verpflichtet gewesen, die Erläuterung der Scheidungskonvention (entschädigungslos) zu unterzeichnen. Behauptet aber selbst er keine dahingehende Pflicht und ist eine solche auch nicht ersichtlich, stand es der Beschwerdegegnerin schon nur aufgrund der Vertragsabschlussfreiheit frei, dies zu tun - oder eben auch nicht bzw. nur im Rahmen eines Vergleichs. Weshalb die Berufung der Beschwerdegegnerin auf diese ihr zustehende Freiheit nicht als "Geltendmachung eines Rechtes" i.S.v. <ref-law> zu verstehen sein sollte, wie der Beschwerdeführer vorbringt, ist nicht verständlich (vgl. nur INGEBORG SCHWENZER, in: Basler Kommentar, Obligationenrecht I, 6. Aufl. 2015, N. 8 zu <ref-law>, die den "Abschluss eines Vertrags im Rahmen der Vertragsfreiheit" sogar ausdrücklich als ein Beispiel für die Geltendmachung eines Rechtes anführt). Anderweitige Rechtsverletzungen, die nicht auf eigenen Sachverhaltsdarstellungen basieren würden, die aufgrund der erfolglosen Willkürrügen nicht zu hören sind, bringt der Beschwerdeführer nicht vor. Damit hat es sein Bewenden (vgl. E. 2.1).
6.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG), wobei die Entschädigung wegen der gewährten unentgeltlichen Rechtspflege direkt an den Rechtsvertreter der Beschwerdegegnerin zu leisten ist. Sollte sich diese Forderung als uneinbringlich erweisen, ist Rechtsanwalt Dr. Andrea Taormina aus der Bundesgerichtskasse eine Entschädigung von Fr. 6'000.-- auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat dem Rechtsvertreter der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 6'000.-- zu bezahlen. Für den Fall der Uneinbringlichkeit wird Rechtsanwalt Dr. Andrea Taormina dieser Betrag aus der Bundesgerichtskasse ausgerichtet.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. Mai 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi