Sachverhalt: A. Mit Urteil vom 15. April 2011 wies das Bezirksgericht Zürich die von X._ gegen seine frühere Frau Z._ eingeleitete Klage auf Abänderung des Scheidungsurteils (Aufhebung der Unterhaltspflicht gegenüber der gemeinsamen Tochter) ab. B. Gegen dieses am 10. Mai 2011 zugestellte Urteil reichte seine Anwältin, Y._, Berufung ein, welche das Datum vom 9. Juni 2011 trägt und angeblich kurz vor Mitternacht bei der Poststelle A._ eingeworfen wurde. Auf der Rückseite des Couverts ist der handschriftliche Vermerk von Y._ angebracht "Dieser Umschlag, adressiert an Obergericht Kt. Zürich, wurde durch Y._ am 9. Juni 2011 um 23.55 h in den Briefkasten der Poststelle B._, C._ eingeworfen" sowie "Zeugenbestätigung: D._". Daneben findet sich die Unterschrift von D._. Das Couvert wurde am Folgetag durch eine Mitarbeiterin der Poststelle abgestempelt. Das Obergericht des Kantons Zürich führte ein Beweisverfahren zur Rechtzeitigkeit der Berufung durch. Beim Postamt wurden Erkundigungen über die Abläufe auf dem Amt und die konkrete Behandlung des fraglichen Couverts eingeholt. Sodann wurden Y._ und D._ als Zeuginnen einvernommen und zu den Geschehnissen am Abend des 9. Juni 2011 befragt. In seinem Beschluss vom 27. September 2011 kam das Obergericht beweiswürdigend zum Schluss, dass der Nachweis der rechtzeitigen Aufgabe der Berufungsschrift nicht erbracht sei, weshalb es auf die Berufung nicht eintrat. C. Gegen diesen Nichteintretensentscheid hat X._ am 3. November 2011 eine Berufung in Zivilsachen erhoben mit den Begehren, der Beschluss vom 27. September 2022 (recte: 2011) sei aufzuheben, es sei festzustellen, dass die Berufung rechtzeitig erhoben worden sei, und die Sache sei zum Eintreten auf die Berufung an die Vorinstanz zurückzuweisen. Ferner wird die unentgeltliche Rechtspflege verlangt. Es wurden keine Vernehmlassungen eingeholt.