Sachverhalt:
A. X._ (Ehemann) und Z._ (Ehefrau) haben drei gemeinsame Töchter, die am xxxx 1999 geborene S._ sowie die am xxxx 2000 als Zwillinge geborene T._ und U._.
Mit Verfügung des Bezirksgerichts Zürich vom 6. März 2002 im Eheschutzverfahren wurde das Getrenntleben zwischen den Parteien geregelt. Mit Bezug auf die Kinder gilt nach zahlreichen aufwändig geführten Verfahren über mehrere Instanzen seit Längerem folgende Regelung: Alle drei Kinder stehen unter der Obhut der Mutter, wobei der Vater ein Besuchsrecht am Mittwochnachmittag, an zwei Wochenenden pro Monat und alternierend an den Feiertagen sowie ein Ferienrecht von zwei Wochen pro Jahr hat.
B. Mit Urteil vom 3. Mai 2010 schied das Bezirksgericht Zürich die Ehe der Parteien, unter Regelung der Nebenfolgen (u.a. Alimente für Mutter und Kinder). Beide Parteien erklärten die Berufung. Im Berufungsverfahren vor Obergericht verlangte der Vater am 17. Dezember 2010 vorsorgliche Massnahmen dahingehend, dass die drei Kinder unter seine elterliche Sorge, eventuell unter seine Obhut zu stellen und bezüglich U._ schul- und kinderpsychologische Abklärungen anzuordnen seien. Mit Eingabe vom 2. Mai 2011 verlangte der Vater als weitere vorsorgliche Massnahme, dass seine Verpflichtung zur Leistung von Frauenalimenten mit sofortiger Wirkung aufzuheben sei.
Diese beiden vorliegend interessierenden sowie sämtliche weiteren vorsorglichen Massnahmebegehren der Parteien wies das Obergericht des Kantons Zürich mit Beschluss vom 4. August 2011 ab.
C. Mit Bezug auf die Obhutszuteilung und die Aufhebung der Frauenalimente hat der Vater gegen diesen Beschluss am 7. September 2011 eine Beschwerde in Zivilsachen eingereicht mit den Begehren, die drei Kinder seien sofort unter seine Obhut und alleinige Sorge zu stellen und die Pflicht zur Leistung von Unterhaltsbeiträgen an die Mutter sei mit sofortiger Wirkung aufzuheben. Mit Gesuch vom 26. September 2011 verlangt er ausserdem die unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer Zivilsache (Art. 72 Abs. 1 und Art. 75 Abs. 1 BGG). Entgegen den Ausführungen in der Beschwerde geht es indes nicht um eine Zwischenverfügung im Sinn von Art. 93 Abs. 1 BGG, sondern um einen unter Art. 90 BGG fallenden Endentscheid, da mit ihm die Massnahmeverfahren als selbständige Verfahren abgeschlossen worden sind (BGE 134 III 426 E. 2.2 S. 431; mit ausführlicher Begründung Urteil 5A_9/2007 vom 20. April 2007 E. 1.2). Weil es sich um eine vorsorgliche Massnahme im Sinn von Art. 98 BGG handelt (BGE 133 III 393 E. 5.1 S. 397), kann nur die Verletzung verfassungsmässiger Rechte gerügt werden. Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246). Diesen Rügeanforderungen kommt die sich ausschliesslich in appellatorischen Ausführungen erschöpfende Beschwerde nicht nach, worauf im Sachzusammenhang einzugehen sein wird. Sodann muss die Begründung in der Beschwerdeschrift selbst enthalten sein (Art. 42 Abs. 2 BGG); soweit der Beschwerdeführer auf seine Eingaben im kantonalen Verfahren verweist, was er mehrmals tut, kann auf die Beschwerde ebenfalls nicht eingetreten werden (BGE 126 III 198 E. 1d S. 201; 133 III 396 E. 3.1 S. 399).
2. Für die Obhutsregelung hat das Obergericht in drei Schritten die Erziehungsfähigkeit der Elternteile, die Erziehungskontinuität bzw. die Situation bei der Mutter und sodann die Zuteilungswünsche der Kinder erörtert. Ausgegangen ist es vom Gutachten V._ vom 27. Mai 2009, welches die Erziehungsfähigkeit beiden Elternteilen in gutem Mass attestierte. Sodann hat es die Ergebnisse der obergerichtlichen Kinderanhörung vom 15. Juli 2011 zusammengefasst, wonach sich die Kinder bei der Mutter wohl fühlen und gut entwickeln. Sie lebten im Einfamilienhaus des Freundes der Mutter, mit welchem sie sich gut verstünden, und sie hätten alle ein eigenes Zimmer. In der Anhörung habe nichts darauf hingedeutet, dass die Vorwürfe des Vaters, wonach die Kinder vor der Mutter Angst hätten und diese ein vaterfeindliches Umfeld schaffe, die medizinische Versorgung der Kinder vernachlässige und sie schlecht kleide, in irgendeiner Weise zuträfen: Die Mutter gehe vermehrt auf die Bedürfnisse der Kinder ein und diese pflegten ein aktives Freizeitprogramm, sie gingen gerne zum Vater und auch gerne zur Schule (einzig U._ werde dort von einem gewissen W._ schikaniert und beklage sich über zu wenig Kontakte mit Freundinnen), sie seien mit ihren Kleidern zufrieden (S._ sogar höchst zufrieden) und sie hätten auch ausgeführt, dass Massnahmen bezüglich Zahnkorrektur getroffen seien und dass sie die Zahnspange regelmässig tragen würden. Vor dem Hintergrund der Beziehungskontinuität sei es deshalb nicht angebracht, die Kinder während des obergerichtlichen Scheidungsverfahrens umzuplatzieren, zumal S._ und T._ nunmehr ausdrücklich den Wunsch geäussert hätten, bei der Mutter zu bleiben (nachdem sie sich früher für einen Wechsel zum Vater ausgesprochen hätten). Einzig U._ äussere noch den Wunsch, unter die Obhut des Vaters gestellt zu werden. Sie begründe dies aber nicht mit Defiziten der Mutter, sondern erhoffe sich, durch einen Schulwechsel die Probleme mit W._ zu lösen und in einem neuen Umfeld Freundinnen gewinnen zu können. Gemäss gefestigter Praxis seien Geschwister aber nur in Ausnahmefällen zu trennen, was sich vorliegend nicht aufdränge.
Sodann hat das Obergericht auch den Antrag auf Einholung einer weiteren schul- und kinderpsychologischen Abklärung namentlich für U._ abgewiesen mit der Begründung, ihre Probleme stünden insbesondere im Zusammenhang mit dem Mitschüler W._ und es sei nicht ersichtlich, welche neuen Erkenntnisse ein zusätzliches Gutachten bringen könnte.
In Bezug auf das mit Blick auf den neuen Partner der Ehefrau gestellte Gesuch um sofortige Aufhebung der Frauenalimente hat das Obergericht auf das erstinstanzliche Urteil verwiesen, wonach die Vermutung gelte, dass eine nichteheliche Lebensgemeinschaft erst nach fünf Jahren als gefestigt bzw. eheähnlich gelten könne, was vorliegend nicht gegeben sei, da sie erst im Juli 2009 begründet worden sei.
3. Die Beschwerde in Zivilsachen erschöpft sich in appellatorischer Kritik, die losgelöst von verfassungsmässigen Rechten - wozu im Übrigen weder die im gewöhnlichen Bundesgesetzesrecht verankerte Untersuchungsmaxime noch die ebenfalls dort geregelte Frage der Parteianhörung gehört - vorgetragen wird (das Gutachten sei veraltet; entgegen ihren Ausführungen bei der Kindesanhörung möchten S._ und T._ in Wahrheit nicht bei der Mutter bleiben, sondern beim Vater wohnen; sie hätten bei der Kindesanhörung aus purer Resignation etwas anderes gesagt als sie in Wirklichkeit möchten; entgegen ihren Aussagen würden sie sich bei der Mutter nicht wohl fühlen; bei getrennter Anhörung hätten die Kinder anders ausgesagt, zumal zwischen den Geschwistern gegenläufige Interessen bestünden; ihre Wünsche seien neu und deshalb nicht gefestigt, weshalb sie nicht berücksichtigt werden dürften; es hätte vertiefter Abklärungen mit Bezug auf den wirklichen Kindeswillen bedurft und das Obergericht hätte nicht primär auf die Kinderanhörung abstellen dürfen; in diesem Zusammenhang sei die Untersuchungsmaxime verletzt worden, zumal schwerwiegende Gründe bestünden, an der Erziehungsfähigkeit der Mutter zu zweifeln; die Mutter unternehme mit den Kindern nicht viel; sie sei lieblos und distanziert; sie gehe nicht auf die Bedürfnisse der Kinder ein; sie schaffe ein vaterfeindliches Umfeld; die Kinder hätten Angst vor ihr; die Betreuungssituation bei ihr sei nicht gut; sie vernachlässige die Kinder in medizinischer Hinsicht; es gebe Probleme mit den Kleidern der Kinder; eine Gefährdung der Kinder könne nicht von vornherein ausgeschlossen werden; insbesondere U._ gehe es schlecht bei der Mutter; die Lehrerinnen würden sagen, dass U._ unglücklich und instabil sei; die Erziehungsfähigkeit der Mutter sei deshalb in Frage zu stellen; insbesondere hätten gestützt auf Art. 145 ZGB erneut Schulberichte eingeholt bzw. die Lehrerinnen angehört, Abklärungen zur medizinischen Versorgung der Kinder getroffen und eine neue kinderpsychologische Abklärung, namentlich für U._, in Auftrag gegeben werden müssen; auch wenn U._ bei der Anhörung nicht die Mutter als Ursache für ihre Probleme erwähnt habe, sei doch diese verantwortlich dafür, dass U._ keine Freundinnen habe und sie in Wahrheit nicht nur von W._, sondern von allen Mitschülern schikaniert werde; jedenfalls U._ müsse deshalb dem Vater zugeteilt werden; in Wahrheit arbeite er gar nicht 80 %, sondern lediglich 50 %, so dass er sich problemlos um die Kinder kümmern könne; die Parteien hätten gestützt auf Art. 144 ZGB vor Obergericht erneut angehört werden müssen). Auf all diese appellatorischen Vorbringen, mit welchen der Vater ohne Bezugnahme auf verfassungsmässige Rechte seinen eigenen Standpunkt schildert, kann bei vorsorglichen Massnahmen nicht eingetreten werden (Art. 98 und Art. 106 Abs. 2 BGG).
Was verfassungsmässige Rechte anbelangt, so wird zweimal flüchtig das Wort "Willkür" bzw. "willkürlich" erwähnt (Ziff. 9 und 17); sodann wird dem Obergericht im Zusammenhang mit einer Kontaktaufnahme mit S._ vorgeworden, kein faires Verfahren im Sinn von Art. 6 Ziff. 1 EMRK bzw. Art. 29 BV garantiert zu haben (Ziff. 29). Im Zusammenhang mit diesen verfassungsmässigen Rechten werden indes keine Ausführungen gemacht, welche auch nur annähernd den dem Rügeprinzip genügenden Substanziierungsanforderungen (dazu E. 1) genügen würden, weshalb darauf nicht einzutreten ist.
Mit Bezug auf die Abweisung des Antrages auf sofortige Aufhebung der Frauenalimente wird eine Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs (Art. 29 Abs. 2 BV) geltend gemacht. Zur Begründung wird auf die Ausführungen im betreffenden Gesuch verwiesen, wo angeblich belegt worden sein soll, dass die Mutter und ihr neuer Partner sich wie Ehegatten behandeln bzw. unterstützen würden. Wie in E. 1 festgehalten, muss die Begründung in der Beschwerde selbst enthalten sein und sind blosse Verweise auf kantonale Eingaben ungenügend. Infolgedessen kann auch auf die Gehörsrüge nicht eingetreten werden. Ohnehin wäre in materieller Hinsicht keine Verletzung der Begründungspflicht zu erkennen, weil das Obergericht die wesentlichen Gründe für die Abweisung des betreffenden Massnahmegesuches angegeben (vgl. angefochtener Entscheid S. 16 oben) und damit die aus Art. 29 Abs. 2 BV fliessenden Mindestanforderungen an die Entscheidbegründung erfüllt hat (vgl. hierzu BGE 134 I 83 E. 4.1 S. 88; 136 I 184 E. 2.2.1 S. 188).
Der angefochtene Entscheid setzt sich mit allen wesentlichen Vorbringen der Beschwerdeführerin auseinander. Er nennt die zentralen Überlegungen, von denen das Obergericht ausgegangen ist, und diese werden in jeder Hinsicht verständlich und nachvollziehbar ausgeführt. Wie ihre 17-seitige Beschwerde zeigt, war die Beschwerdeführerin denn auch ohne weiteres in der Lage, den Entscheid des Obergerichts sachgerecht anzufechten. Die Rüge ist demnach unbegründet.
4. Wie die vorstehenden Erwägungen zeigen, muss die Beschwerde in Zivilsachen angesichts der für eine materielle Behandlung der Vorbringen in jeder Hinsicht ungenügenden Begründung als von Anfang an aussichtslos bezeichnet werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt und das betreffende Gesuch abzuweisen ist (Art. 64 Abs. 1 BGG). Der Beschwerdeführer wird somit vorbehaltlos kostenpflichtig (Art. 66 Abs. 1 BGG). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, den Verfahrensbeteiligten und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. Januar 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli