Sachverhalt:
A. Mit Urteil vom 17. Februar 2010 wurde die Ehe zwischen X._ und Y._ geschieden.
B. Am 1. Juni 2011 machte der Ehemann gegen die Ehefrau in Vollzug des Scheidungsurteils klageweise verschiedene Forderungen geltend.
An der Instruktionsverhandlung vom 2. Dezember 2011 erschien der Ehemann in Begleitung seines Rechtsvertreters. Nach einer Pause fanden Vergleichsgespräche statt, welche der Kläger mit der Erklärung verliess, er könne der Verhandlung aufgrund psychischer Probleme nicht weiter beiwohnen. Die Verhandlung wurde mit dem klägerischen Rechtsvertreter allein fortgeführt und es wurde ein Vergleich abgeschlossen. Gestützt darauf schrieb das Bezirksgericht das Verfahren mit Beschluss vom 6. Dezember 2011 ab und eröffnete diesen den Parteien ohne Begründung im Dispositiv gemäss <ref-law>.
Mit Schreiben vom 22. Dezember 2011 verlangte der Ehemann beim Bezirksgericht die Revision des Abschreibungsbeschlusses. Sodann wiederrief er am 23. Dezember 2011 die seinem Rechtsanwalt erteilte Vollmacht. Das Bezirksgericht stellte den Parteien in der Folge den Beschluss vom 6. Dezember 2011 in begründeter Ausfertigung zu und eröffnete ein Revisionsverfahren, in dessen Rahmen es dem Revisionsgesuch mit Verfügung vom 25. Januar 2012 aufschiebende Wirkung zuerkannte.
Am 8. Februar 2012 erhob der Ehemann sowohl gegen den Beschluss vom 6. Dezember 2011 als auch gegen die Verfügung vom 25. Janaur 2012 Berufung, wobei er lic.iur. et lic.phil. A._, "zugelassen durch B._", als seinen Vertreter bezeichnete. Mit Beschluss vom 23. Februar 2012 nahm das Obergericht die Berufung in Bezug auf die Verfügung vom 25. Januar 2012 als Beschwerde entgegen und trennte die Verfahren. Überdies wurde A._ aufgefordert, eine Originalvollmacht des Ehemannes an Rechtsanwalt C._ einzureichen, welchem die Erlaubnis erteilt worden war, A._ unter seiner Verantwortung für Zivil- und Strafprozesse zu substituieren. Eine solche ging lediglich im Beschwerde-, nicht aber im Berufungsverfahren ein.
Mit Beschluss vom 19. März 2012 liess das Obergericht A._ im Berufungsverfahren nicht zu und wies das Gesuch des Ehemannes um unentgeltliche Rechtspflege ab. Gleichzeitig wies es mit Urteil die Berufung ab und regelte die Kosten des Berufungsverfahrens.
C. Dagegen hat X._ am 19. April 2012 eine Beschwerde in Zivilsachen erhoben. Er verlangt, dass der Beschluss und das Urteil aufzuheben seien, um den Fall nach Gerechtigkeit und Wahrheit zu beurteilen, und dass die Ehefrau zu Fr. 200'000.-- aus Güterrecht sowie zu Fr. 67'000.-- im Sinn der Bereinigung der Liegenschaftsabrechnung zu verurteilen sei. Ferner verlangt er die aufschiebende Wirkung, die unentgeltliche Rechtspflege und eine Zeugenbefragung des ehemaligen Rechtsanwaltes. Auf entsprechende Aufforderung hin reichte der Beschwerdeführer am 10. Mai 2012 Unterlagen zur Prozessarmut nach. Mit Verfügung vom 11. Juni 2012 wurde das Gesuch um aufschiebende Wirkung abgewiesen. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Streitgegenstand ist eine Zivilsache mit Fr. 30'000.-- übersteigendem Streitwert, womit die Beschwerde in Zivilsachen grundsätzlich gegeben ist (Art. 72 Abs. 1 und Art. 74 Abs. 1 lit. b BGG).
Auf die Beschwerde ist aber nicht einzutreten, soweit direkt das Bezirksgericht kritisiert und diesem Gehörsverletzungen vorgeworfen werden, denn Anfechtungsobjekt kann einzig der kantonal letztinstanzliche Entscheid sein (<ref-law>). Sodann ist auf das Begehren um Aufhebung des obergerichtlichen Beschlusses vom 19. März 2012, mit welchem A._ nicht als Vertreter zugelassen und das Gesuch um unentgeltliche Rechtspflege abgewiesen wurde, nicht einzutreten, weil es diesbezüglich entgegen den Anforderungen gemäss <ref-law> an jeglicher Beschwerdebegründung fehlt.
Mit Bezug auf das obergerichtliche Urteil vom 19. März 2012 enthält die Beschwerde eine Begründung, welche <ref-law> genügt. Indes ist zu beachten, dass dies nur für die Rechtsanwendung der Fall ist, während mit Bezug auf die Sachverhaltsfeststellung qualifizierte Rügeanforderungen im Sinn von <ref-law> gelten, weil das Bundesgericht an den von der oberen kantonalen Instanz festgestellten Sachverhalt grundsätzlich gebunden ist (<ref-law>). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398). Das strenge Rügeprinzip im Sinn von <ref-law>, welches diesbezüglich Anwendung findet, bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
In der Beschwerde in Zivilsachen dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (BGE <ref-ruling> E. 3 S. 395). Dies geschieht nicht, weshalb insbesondere der Antrag auf Zeugeneinvernahme unzulässig ist.
2. Gemäss den obergerichtlichen Erwägungen machte der Beschwerdeführer geltend, dass er die seinem Rechtsvertreter erteilte Vollmacht konkludent bereits anlässlich der Instruktionsverhandlung vom 2. Dezember 2011 entzogen habe, indem er mangels eines Dolmetschers weder seinen Anwalt noch das Gericht habe verstehen und deshalb auch keinen Willen mit Bezug auf den Vergleich habe zum Ausdruck bringen können, weshalb er sich vom Gerichtspräsidenten verabschiedet habe, damit dieser einen Entscheid treffe. Das Obergericht hat dazu festgehalten, dass der Beschwerdeführer im erstinstanzlichen Verfahren mit Bezug auf alle Streitpunkte rechtsgültig durch einen Anwalt vertreten gewesen sei und im Verlassen des Gerichtssaales kein Widerruf der Vollmacht erblickt werden könne. Gemäss Verhandlungsprotokoll hätten die Vergleichsgespräche von 14.40 Uhr bis 15.55 Uhr gedauert und sei die Verhandlung um 15 Uhr für eine halbe Stunde unterbrochen worden. Der Beschwerdeführer habe den Gerichtssaal bald nach Beginn der Gespräche verlassen und dies laut Protokoll, gegen welches er keine Einwände erhoben habe, mit der Erklärung begründet, er könne der Verhandlung aufgrund psychischer Probleme nicht mehr weiter beiwohnen. Diese Erklärung hätten der Rechtsvertreter wie auch die Gegenpartei und das Gericht so verstehen dürfen und müssen, dass er die Verhandlung wegen einer Unpässlichkeit verlasse; hingegen hätten sie daraus nicht schliessen müssen, dass er jeglichen Vergleich ablehne, und von der konkludenten Äusserung eines auf Widerruf der Vollmacht gerichteten Willens könne keine Rede sein, was im Übrigen dadurch bestärkt werde, dass er die Vollmacht am 23. Dezember 2012 schriftlich widerrufen habe. Sei die Vollmacht aber anlässlich der gesamten Instruktionsverhandlung gültig gewesen, müsse sich der Beschwerdeführer das dortige Handeln seines Rechtsvertreters und damit auch den Vergleichsabschluss anrechnen lassen. Wenn der Beschwerdeführer im Übrigen eine Gehörsverletzung geltend mache, indem er das Gericht nicht verstanden haben wolle, so übergehe er, dass der Abschluss eines Vergleiches Sache der Parteien sei und er sich eben umfassend habe vertreten lassen. Sodann betreffe seine Behauptung, er habe sich auch mit seinem Anwalt nicht hinreichend verständigen können, das interne Verhältnis.
3. Der Beschwerdeführer macht in seiner - in einwandfreiem Deutsch verfassten und selbst unterzeichneten - Eingabe eine Verletzung von <ref-law> und Art. 6 Ziff. 1 EMRK geltend, indem ihm im erstinstanzlichen Verfahren kein Dolmetscher gewährt worden sei. Mit der Behauptung, die Notwendigkeit seinem damaligen Rechtsvertreter mitgeteilt zu haben, vermag er aber nicht aufzuzeigen, dass und inwiefern gegenüber dem Bezirksgericht der Beizug eines Dolmetschers verlangt worden wäre; nur wenn das Gericht einen notwendigen Beizug verweigert hätte, könnte aber überhaupt eine Gehörsverletzung oder ein unfaires Verfahren zur Debatte stehen. Weil ein Antrag gegenüber dem Gericht nicht dargetan ist, erübrigen sich - abgesehen davon, dass dies ohnehin den Sachverhalt beschlagen würde - Ausführungen zur Notwendigkeit eines Dolmetschers. Desgleichen erübrigen sich Ausführungen zur Folgebehauptung, mangels eines solchen habe er seinen ablehnenden Willen betreffend den Abschluss eines Vergleiches nicht mitteilen können. Gegen die für das Bundesgericht verbindliche Tatsachenfeststellung richtet sich sodann die Behauptung, mit dem Verlassen des Gerichtssaales habe er den Richter implizit zur Entscheidfällung aufgefordert; im Zusammenhang mit der gegenteiligen Tatsachenfeststellung durch das Obergericht wären aber Willkürrügen, nicht Gehörsrügen zu erheben. Soweit das Obergericht im Übrigen das Vertrauensprinzip angewandt hat, geht es zwar um Rechtsanwendung, macht der Beschwerdeführer aber keine Ausführungen; ohnehin wäre auch nicht ersichtlich, inwiefern das Obergericht in diesem Zusammenhang Rechtssätze falsch angewandt haben könnte.
In keinem Zusammenhang mit dem als verletzt gerügten rechtlichen Gehör steht die in mannigfacher Hinsicht erhobene Kritik des Ehemannes am Verhalten und an den Handlungen seines damaligen Rechtsvertreters (u.a. der Vorwurf der Überschreitung der durch die Vollmacht abgedeckten Kompetenzen bzw. des weisungswidrigen Handelns, ferner die Kritik am Verlauf der Klientengespräche in der Anwaltskanzlei, an der Aufklärung durch den Anwalt, etc.); all dies beschlägt das zivilrechtliche Auftragsverhältnis zwischen Rechtsanwalt und Klient, welches nicht Gegenstand des angefochtenen Entscheides ist. Gleiches gilt für die inhaltliche Kritik am Vergleich bzw. für die Schilderung des materiellen Hintergrundes (Ausführungen zum Güterrecht und den Liegenschaftsabrechnungen); abgesehen davon, dass diese Ausführungen appellatorischer Natur sind, waren sie nicht Gegenstand des angefochtenen Entscheides.
Nichts zur Sache tun schliesslich die Erklärungen des Beschwerdeführers zum Protokollvermerk betreffend Gründe für das Verlassen der Verhandlung (mangels eines Dolmetschers habe er schreckliche Angst bekommen, weil er gemerkt habe, dass er betrogen werde, was zu grossem psychischen Druck geführt habe); mit solchen Ausführungen ist keine willkürliche Sachverhaltsfeststellung oder falsche Rechtsanwendung mit Bezug auf die Gültigkeit der Vollmachtserteilung bzw. auf den Vollmachtswiderruf darzutun.
Ist aber der Entzug der Vollmacht anlässlich der Instruktionsverhandlung nicht dargetan, so ist die obergerichtliche Folgerung, der Beschwerdeführer müsse sich den Abschluss des Vergleichsvertrages zurechnen lassen, korrekt.
4. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit auf sie eingetreten werden kann. Wie die vorstehenden Erwägungen zeigen, muss sie als von Anfang an aussichtslos angesehen werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege mangelt (<ref-law>) und das entsprechende Gesuch abzuweisen ist. Ausgangsgemäss sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit auf sie einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 2. Juli 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli