Sachverhalt:
A. Mit Urteil vom 15. April 2011 wies das Bezirksgericht Zürich die von X._ gegen seine frühere Frau Z._ eingeleitete Klage auf Abänderung des Scheidungsurteils (Aufhebung der Unterhaltspflicht gegenüber der gemeinsamen Tochter) ab.
B. Gegen dieses am 10. Mai 2011 zugestellte Urteil reichte seine Anwältin, Y._, Berufung ein, welche das Datum vom 9. Juni 2011 trägt und angeblich kurz vor Mitternacht bei der Poststelle A._ eingeworfen wurde. Auf der Rückseite des Couverts ist der handschriftliche Vermerk von Y._ angebracht "Dieser Umschlag, adressiert an Obergericht Kt. Zürich, wurde durch Y._ am 9. Juni 2011 um 23.55 h in den Briefkasten der Poststelle B._, C._ eingeworfen" sowie "Zeugenbestätigung: D._". Daneben findet sich die Unterschrift von D._. Das Couvert wurde am Folgetag durch eine Mitarbeiterin der Poststelle abgestempelt.
Das Obergericht des Kantons Zürich führte ein Beweisverfahren zur Rechtzeitigkeit der Berufung durch. Beim Postamt wurden Erkundigungen über die Abläufe auf dem Amt und die konkrete Behandlung des fraglichen Couverts eingeholt. Sodann wurden Y._ und D._ als Zeuginnen einvernommen und zu den Geschehnissen am Abend des 9. Juni 2011 befragt.
In seinem Beschluss vom 27. September 2011 kam das Obergericht beweiswürdigend zum Schluss, dass der Nachweis der rechtzeitigen Aufgabe der Berufungsschrift nicht erbracht sei, weshalb es auf die Berufung nicht eintrat.
C. Gegen diesen Nichteintretensentscheid hat X._ am 3. November 2011 eine Berufung in Zivilsachen erhoben mit den Begehren, der Beschluss vom 27. September 2022 (recte: 2011) sei aufzuheben, es sei festzustellen, dass die Berufung rechtzeitig erhoben worden sei, und die Sache sei zum Eintreten auf die Berufung an die Vorinstanz zurückzuweisen. Ferner wird die unentgeltliche Rechtspflege verlangt. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist der kantonal letztinstanzliche Endentscheid über eine Zivilsache mit Fr. 30'000.-- übersteigendem Streitwert; die Berufung in Zivilsachen erweist sich mithin als zulässig (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Kritisiert wird die Beweiswürdigung im Zusammenhang mit den beiden Zeugenaussagen zum Ablauf des Geschehens am Abend des 9. Juni 2011. Die Beweiswürdigung beschlägt die Feststellung des Sachverhaltes, woran das Bundesgericht grundsätzlich gebunden ist (<ref-law>). Diesbezüglich kann einzig vorgebracht werden - was vorliegend denn auch geschieht -, die Sachverhaltsfeststellung sei offensichtlich unrichtig (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 7.1 S. 398), oder sie beruhe auf einer anderen Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (<ref-law>; <ref-ruling> E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
2. Gestützt auf die entsprechenden Zeugenaussagen der beiden Damen hat das Obergericht festgestellt, dass Y._ ihre Freundin D._ am Abend des 9. Juni 2011 um 19h30 telefonisch um Hilfe bat, weil sie an diesem Tag unter Druck stand und gegen Abend bemerkte, dass sie eine Migräne bekommen würde. D._ traf etwa eine Stunde später ein. Sie kopierte Unterlagen und stellte auch die Berufungsschrift fertig, indem Y._ diktierte und sie tippte. Nach übereinstimmender Aussage hat Y._ den in Lit. B zitierten Vermerk auf der Rückseite des Couverts noch in ihrem Büro angebracht, und zwar bevor die Berufungsschrift ins Couvert eingepackt wurde. Y._ war nicht mehr sicher, ob D._ die bestätigende Unterschrift noch im Büro oder im Auto auf das Couvert setzte; gemäss Aussage D._ geschah dies ebenfalls noch im Büro. D._ sagte weiter aus, ab 23h30 gedrängt zu haben, dass man jetzt zur Post müsse, da sie nicht gewusst habe, wo diese sich befinde. Sie sei nervös gewesen, weil auch ihr Tag intensiv gewesen sei. Danach sei eben das Couvert mit dem erwähnten Vermerk versehen worden, das müsse um 23h40 bis 23h45 gewesen sei. Sie habe dann Y._ zur Poststelle gefahren. Sie habe wirklich gedrängt. Y._ habe das Couvert eingeworfen und sie habe diese dann noch nach Hause gefahren. Über den Zeitpunkt des Einwurfes äusserte sich Y._ wie folgt: Dieser sei zwischen 23h50 und 23h55 gewesen. Das wisse sie so genau, weil sie auf die Uhr geschaut habe. D._ sei dabei im Fahrzeug auf dem Parkplatz direkt vor der Post bzw. vor dem Briefkasten gewesen. D._ äusserte sich dazu wie folgt: "So wie es dort [auf dem Couvert] drauf steht. Kurz vor zwölf, fünf oder zehn Minuten vorher, man habe "etwa fünf Minuten dorthin [zur Post] ... oder so ... Mir war wichtig, dass sie es einwirft, bevor Mitternacht ist. Bei meinem Auto leuchtet die Uhr".
Ausgehend von diesen Aussagen ist das Obergericht zum Schluss gekommen, dass der Vermerk auf dem Couvert sich als objektiv falsch erweise, da er noch im Büro angebracht worden sei und deshalb nicht den effektiven, erst in der Zukunft liegenden Vorgang bezeugen könne. Mithin sei dieser Vermerk für die behauptete Tatsache des Briefeinwurfs vor Mitternacht als Beweis untauglich. Die weiteren Aussagen seien weder schlüssig noch überzeugend. Keine der beiden Damen habe sich auf einen genauen Zeitpunkt des Einwurfes festgelegt, obwohl beide erwähnt hätten, auf die Uhr geschaut zu haben. Uhren würden indes die Zeit wenigstens minutengenau angeben und nicht bloss in ungefähren Zeiträumen.
Vor diesem Hintergrund kam das Obergericht zum Schluss, die Behauptung, wonach der Einwurf um 23h55 erfolgt sei, könne nicht als bewiesen erachtet werden. Das führe zum weiteren Ergebnis, dass der Einwurf nicht um 23h55, sondern erst danach erfolgt sei, wobei es gleichermassen möglich sei, dass er beispielsweise um 23h56 oder 23h59 oder 00h01 oder noch später erfolgt sei, letztlich irgendwann bis vor der ersten Leerung am Morgen des 10. Juni 2011. Dem sei nachzuschicken, dass zahlreiche weitere Facetten die Unzuverlässigkeit und fehlende Überzeugungskraft der Aussagen unterstreichen würden. So habe Y._ mit ihrer Aussagen den Zeitpunkt des Briefeinwurfes entgegen der klägerischen Behauptung sogar in einen Zeitraum davor verlegt; ein Eintreffen vor dem Briefkasten z.B. um 23h53 hätte es ihr aber ermöglicht, den auf dem Couvert fingiert angegebenen Zeitpunkt abzuwarten und so tätig zu bekräftigen. Sodann habe D._ lediglich die in ihrem Auto leuchtende Uhr erwähnt, aber nicht angegeben, was die Uhr gezeigt habe, und gleichzeitig die Aussage gemacht, der Einwurf sei zu dem auf dem Couvert angegebenen Zeitpunkt erfolgt, um dann anzufügen, es sei kurz vor zwölf gewesen, fünf oder zehn Minuten vorher.
3. Soweit in der Beschwerde vorgebracht wird, es sei willkürlich, wenn das Obergericht das Zeitfenster für den Einwurf auf einen Zeitpunkt nach 23h55 bis zum Morgen des 20. Juni 2022 (recte: 10. Juni 2011) eingeschränkt habe, weil der Einwurf entsprechend der Zeugenerinnerung auch zwischen 23h50 und 23h55 des Vorabends hätte stattfinden können, so mag der - basierend auf dem Couvert-Vermerk bzw. auf der entsprechenden Parteibehauptung - vom Obergericht als frühestmöglich angenommene Einwurfzeitpunkt in der Tat zu kategorisch sein. Daraus (d.h. aus der Verlängerung des möglichen Zeitfensters am Vorabend) lässt sich aber ebenso wenig Willkür auf das Beweisergebnis (das mögliche Zeitfenster erstrecke sich bis zum Morgen des Folgetages und ein Einwurf vor Mitternacht sei nicht bewiesen) ableiten wie aus dem in einem gewissen Widerspruch zur vorerwähnten Folgerung stehenden Vorhalt, bei einem Eintreffen vor 23h55 hätte Y._ beim Briefkasten den fraglichen Zeitpunkt abwarten und so den Vermerk auf dem Couvert in die Tat umsetzen können). All dies sind indes ohnehin nur ergänzende Alternativerwägungen des Obergerichts, geht es doch von zwei Kernerwägungen aus: Zum einen habe der auf dem Couvert angebrachte Vermerk, wonach dieses um 23h55 eingeworfen worden sei, keinen Beweiswert, weil der Vermerk vor dem Verpacken der Berufungsschrift im Büro angebracht worden sei und deshalb die gemachte Aussage gar nicht bezeugen könne; zum anderen seien die Aussagen beider Zeuginnen über den Zeitpunkt des Einwurfes derart unpräzis und nicht in sich schlüssig (blosse Ungefährangaben, obwohl beide auf die Uhr geschaut hätten), dass der dem Beschwerdeführer obliegende strikte Beweis der Postaufgabe vor Mitternacht nicht als erbracht angesehen könne.
Was in der Beschwerde gegen diese beiden zentralen Punkte der Beweiswürdigung vorgebracht wird, erschöpft sich weitgehend in appellatorischer Kritik, wie sie nach dem in E. 1 Gesagten mit Bezug auf verfassungsmässige Rechte unzulässig ist (Schilderung des Weges vom Büro zur Poststelle; Berechnungen zur Fahrzeit; Behauptung, aufgrund dieser Berechnungen sei der gemäss Vermerk auf dem Couvert fingierte Einwurfzeitpunkt nicht nur möglich, sondern sogar annähernd sicher; Ausführungen, wonach auf dem Weg schon etwas ganz Aussergewöhnliches hätte passieren müssen, um nach Mitternacht bei der Poststelle anzukommen; Vermutung, die unpräzisen Zeitangaben zum Einwurfzeitpunkt seien auf das Fehlen einer genaueren Erinnerung zurückzuführen; allgemeine Lebenserfahrung, wonach mit zunehmendem Zeitablauf das Erinnerungsvermögen vor allem für nebensächliche Punkte schwinde; Vorbringen, aufgrund der Strafandrohung sei es nachvollziehbar, dass Zeugenaussagen mit besonderer Vorsicht getätigt würden und man sich deshalb nicht auf eine scheinbar besser wirkende Minutengenauigkeit habe festlegen wollen).
Am Kern der obergerichtlichen Überlegung, der auf dem Couvert angebrachte Vermerk sage nichts über den Einwurfzeitpunkt aus, vorbei geht sodann das Vorbringen, von der Logik her müsse ein solcher Vermerk zwangsläufig vor dem zu bestätigenden Ereignis erfolgen: Dass der Vermerk nicht im Anschluss an den Einwurf angebracht werden kann, ist logisch; die Aussage des Obergerichtes war aber offensichtlich, dass er unmittelbar beim Einwerfen anzubringen wäre und nur dann eine relevante Aussage über die tatsächliche Einwurfzeit machen würde, nicht aber, wenn er längere Zeit vorher und an einem ganz anderen Ort (nämlich vor dem Einpacken der Berufungsschrift im Büro Y._) angebracht worden sei. Was an dieser obergerichtlichen Würdigung willkürlich sein soll, ist nicht dargetan.
Wenn sodann vorgebracht wird, die Zeuginnen hätten darüber befragt werden müssen, auf welchem Weg sie vom Büro zur Post gelangt seien und wie viel Zeit sie dazu benötigt hätten, und insbesondere hätte ganz präzis gefragt werden müssen, was die Uhr im Auto angezeigt habe (bei der Zeugin D._) bzw. weiter nachgefragt werden müssen, weshalb trotz Blick auf die Uhr keine minutengenaue Angabe gemacht werde (bei der Zeugin Y._), so beschlagen diese Unterlassungsvorwürfe an die Adresse des Obergerichts im Zusammenhang mit der Befragung nicht die angeblich willkürliche Beweiswürdigung, sondern wenn schon den verfassungsmässigen Anspruch auf rechtliches Gehör, welcher freilich in diesem Zusammenhang nicht als verletzt gerügt wird - einzig ganz am Schluss der Beschwerde findet sich ein von jeglichen Rügen losgelöster Hinweis auf <ref-law>, was den aus dem in E. 1 dargestellten Rügeprinzip fliessenden Anforderungen in keiner Weise genügt - und mithin auch nicht näher geprüft werden kann.
Keine Willkür ergibt sich schliesslich daraus, dass das Obergericht die übereinstimmende Angabe, der Vermerk auf dem Couvert sei noch im Büro angebracht worden, für wahr, jedoch die Angaben zum genauen Einwurfzeitpunkt für unpräzise hielt. Inwiefern dies einen Widerspruch, zumal einen Willkür begründenden, darstellen soll, ist nicht ersichtlich.
Ebenso wenig ist der Behauptung zu folgen, das Obergericht habe willkürlich hohe Anforderungen an den Beweis gestellt, da es ja nicht um die Feststellung des minutengenauen Einwurfzeitpunktes, sondern um den Nachweis gegangen sei, dass der Einwurf noch vor Mitternacht erfolgt sei: Wenn das Obergericht erwogen hat, angesichts der unpräzisen Angaben habe der Einwurf ebenso gut kurz nach Mitternacht stattfinden können und die rechtzeitige Postaufgabe könne vor diesem Hintergrund nicht als erwiesen gelten, so ist diese Würdigung angesichts der konkreten Umstände, wonach die Zeit drängte und der Einwurf klarerweise nahe um Mitternacht stattgefunden haben muss, ohne dass aber eine der beiden Zeuginnen eine präzise Angabe hätte machen können, nicht als willkürlich anzusehen, liegt doch eine willkürliche Beweiswürdigung erst und nur dann vor, wenn das Sachgericht den Sinn und die Tragweite eines Beweismittels offensichtlich nicht erkannt, ohne vernünftigen Grund ein entscheidendes Beweismittel ausser Acht gelassen oder aus den vorhandenen Beweismitteln einen unhaltbaren Schluss gezogen hat (<ref-ruling> E. 2.1 S. 9).
Nichts ableiten lässt sich schliesslich aus dem Vorbringen, das Bundesgericht habe in vergleichbaren Fällen die Angaben von Rechtsanwälten ohne weiteres für glaubwürdig gehalten und sei auf die Sache eingetreten: Vorliegend geht es nicht um die Frage, ob der angefochtene Entscheid grosszügig oder kleinlich erscheint, sondern darum, ob die obergerichtliche Beweiswürdigung vor dem Willkürverbot standhält. Ausgehend von den Rügen, so wie sie vorgebracht und begründet worden sind, ist dies nach dem vorstehend Gesagten der Fall.
4. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit überhaupt auf sie eingetreten werden kann. Wie die vorstehenden Erwägungen zeigen, muss sie als von Anfang an aussichtslos betrachtet werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch mithin abzuweisen ist. Die Gerichtskosten sind folglich ohne Vorbehalt dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Februar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli