Sachverhalt:
A. X._, geb. 14. Januar 1971, und Y._, geb. 24. September 1957, haben die am 26. August 2001 geborene eheliche Tochter Z._.
Mit Scheidungsurteil des Kreisgerichtes Gaster-See vom 2. Dezember 2004 wurde Z._ unter die elterliche Sorge des Vaters gestellt; ferner wurde die Teilvereinbarung über die Nebenfolgen genehmigt.
Insbesondere mit Bezug auf die Kinderzuteilung erhob die Mutter Berufung und die Parteien einigten sich im Berufungsverfahren auf eine gemeinsame elterliche Sorge, wobei die Tochter bei der Mutter Wohnsitz und der Vater ein ausgedehntes Besuchsrecht habe; im Übrigen einigten sie sich auf Kinderunterhaltsbeiträge von Fr. 400.-- bis Juli 2006, Fr. 850.-- bis zum vollendeten 6. Altersjahr, von Fr. 950.-- bis zum vollendeten 12. Altersjahr und von Fr. 1'050.-- bis zum Abschluss der Erstausbildung (je zzgl. Kinder- bzw. Ausbildungszulagen und Krankenkassenprämien inkl. Zahn- und Brillenversicherung) sowie auf nachehelichen Unterhalt von Fr. 1'100.-- für Januar bis Juli 2006, von Fr. 1'050.-- bis Dezember 2010 und von Fr. 750.-- bis August 2017. Mit Scheidungsurteil vom 29. Mai 2006 bestätigte das Kantonsgericht St. Gallen den Scheidungspunkt, beliess die Tochter unter der gemeinsamen elterlichen Sorge und genehmigte für die anderen Nebenfolgen die zwischen den Parteien geschlossene Vereinbarung.
B. Am 25. September 2008 verlangte die Mutter beim Bezirksgericht Uster die Abänderung dieses Urteils, vorab mit dem Antrag, die Tochter sei unter ihre alleinige elterliche Sorge zu stellen und das Besuchsrecht sei neu zu regeln. Ferner beantragte sie die Anpassung der Unterhaltsbeiträge für die Tochter und sich selbst. Dabei machte sie geltend, dass der Vater die Freizeit stets beim Ehepaar W._ verbringe und das Besuchsrecht faktisch durch dieses ausgeübt werde, weil der Vater als Trainer des EHC A._ stark ausgelastet sei. Nach einer Besuchsrechtsausübung sei die Tochter mit einem aufgeplatzten Riss in den Schamlippen zurückgekehrt. Ausserdem müsse die Tochter immer wieder über Nacht beim Ehepaar W._ bleiben und dann oft im selben Bett wie die Eheleute übernachten. Es sei wiederholt vorgekommen, dass sie nach solchen Besuchen Verletzungen der äusseren Schamlippen aufgewiesen habe. Obwohl Z._ in der Lage sei, ihre Intimpflege selbst vorzunehmen, werde sie von Frau W._ auch im Schambereich gewaschen und gepflegt.
Mit Verfügung des Bezirksgerichts Uster wurde dem Vater im Sinn einer superprovisorischen Massnahme die Obhut über die Tochter und das Recht auf die Ausübung des Besuchsrechts vollständig entzogen. Nach der Verhandlung über die vorsorglichen Massnahmen und Einholung eines Arztberichtes, gemäss welchem die Rötungen bei der Tochter, die in deren Alter häufig auftreten würden, wohl auf eine falsche Miktionstechnik zurückzuführen seien, wurden die superprovisorischen Massnahmen mit Verfügung vom 21. November 2008 vollumfänglich aufgehoben. Nach zahlreichen weiteren Verfahrensschritten, u.a. beinhaltend die Einholung eines Gutachtens und eine Kinderanhörung, erging am 3. Dezember 2010 das Abänderungsurteil des Bezirksgerichts Uster, mit welchem Z._ neu unter die elterliche Sorge der Mutter gestellt wurde, unter Neuregelung des Besuchsrechts und Errichtung einer Beistandschaft im Sinn von Art. 308 Abs. 1 und 2 ZGB; die Anträge auf Erhöhung der Unterhaltsbeiträge wurden indessen abgewiesen.
Am 27. Dezember 2010 bzw. 6. Januar 2011 erhoben die Parteien je Berufung. Es folgten zahlreiche weitere Eingaben. Mit Urteil vom 13. Dezember 2011 wies das Obergericht des Kantons Zürich das Begehren um Aufhebung der gemeinsamen elterlichen Sorge und Alleinzuteilung an die Mutter ab, regelte das Besuchsrecht und wies die Anträge auf Erhöhung der Frauen- und Kinderalimente ab; ferner regelte es die Kosten.
C. Gegen dieses Urteil hat die Mutter am 1. Februar 2012 eine Beschwerde in Zivilsachen erhoben mit den Begehren, die Tochter sei unter ihre alleinige elterliche Sorge zu stellen, die Kinderunterhaltsbeiträge seien um Fr. 200.-- zu erhöhen, die kantonalen Gerichtskosten seien ausgangsgemäss neu zu verteilen und der Vater habe für das kantonale Verfahren eine angemessene Prozessentschädigung zu leisten; eventualiter sei die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten sind u.a. nicht vermögensrechtliche Punkte eines kantonal letztinstanzlichen Entscheides über die Abänderung eines Scheidungsurteils; somit ist die im Übrigen fristgerecht eingereichte Beschwerde in Zivilsachen streitwertunabhängig gegeben (Art. 72 Abs. 1, Art. 74 Abs. 1, Art. 75 Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG).
1.1 In rechtlicher Hinsicht sind alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), was heisst, dass es behauptete Rechtsverletzungen (Art. 42 Abs. 2 BGG) mit freier Kognition prüft.
1.2 Dagegen ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; BGE 133 II 249 E. 1.2.2 S. 252; 133 III 393 E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 135 I 19 E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246).
2. Umstritten ist zunächst die Umteilung der elterlichen Sorge.
2.1 Das Obergericht hat festgehalten und erwogen, die Beziehung zwischen Z._ und beiden Elternteilen sei gut, emotional tragfähig und mit sicherer Bindung. Es entspreche zwar dem Wunsch von Z._, weiterhin bei der Mutter und deren Lebenspartner sowie dessen Sohn zu wohnen und weiterhin in B._ zur Schule zu gehen. Indes habe sie beide Elternteile sehr gern, wolle sie regelmässig sehen und die Wochenenden abwechslungsweise bei Vater und Mutter verbringen. Trotz des spürbaren Loyalitätskonfliktes stehe sie beiden Elternteilen positiv gegenüber und sie komme mit der aktuellen Situation gut zurecht. Das Obergericht hat sodann befunden, dass die Vorbringen der Mutter keine Änderung der Sorgerechtsregelung zu begründen vermöchten: Wenn sie auf die gestörte Kommunikation zwischen den Eltern hinweise, so gehe diese darauf zurück, dass sie den Vater zwar nie direkt eines Missbrauchs bezichtigt, aber das Thema in den Raum gestellt und in diesem Zusammenhang den Erlass superprovisorischer Massnahmen beantragt habe; dass dies der Kommunikation zwischen den Parteien nicht förderlich gewesen sei, erkläre sich von selbst und der betreffende Umstand könne nicht dem Vater angelastet werden in dem Sinn, dass die elterliche Sorge umzuteilen wäre. Dem Vorhalt, die Besuche von Z._ würden weitgehend beim Ehepaar W._ stattfinden, habe der Vater entgegnet, dass dies nicht zutreffe, sondern die Besuche bei ihm stattfänden; dies sei in der Folge nicht mehr bestritten worden, weshalb davon ausgegangen werden müsse, dass der Vater (jedenfalls heute) das Besuchsrecht selber wahrnehme. Mit Bezug auf die geltend gemachte "Körperverletzung" durch die Ohrringe habe der Vater an der Berufungsverhandlung ausgeführt, dass Z._ vom Götti Ohrringe geschenkt erhalten und diese zusammen mit diesem, der Cousine und ihm ausgewählt habe, was aber schon einige Jahre zurückliege; dies sei in der Folge unbestritten geblieben und die fehlende Absprache zwischen den Eltern könne deshalb nach Jahren nicht mehr Anlass zu einer Umteilung der elterlichen Sorge geben. Die weiteren Vorwürfe (angebliche Beschimpfung; unregelmässige Unterhaltszahlung) tangierten in erster Linie das Elternverhältnis und es sei nicht ersichtlich, dass die Tochter darunter irgendwie gelitten hätte. Schliesslich sei darauf hinzuweisen, dass beide Eltern die Bedeutung des anderen Teils für Z._ anerkennen würden und sie deshalb grundsätzlich doch in der Lage seien, angemessen zum Wohle des Kindes zu kooperieren. Zudem würden sie nunmehr durch eine (nicht angefochtene) Beistandschaft unterstützt, so dass ihnen eine neutrale Ansprechperson und Hilfe zur Verfügung stehe.
2.2 Die Ausführungen in der Beschwerde richten sich zum grossen Teil gegen die kantonalen Sachverhaltsfeststellungen. Indes wird einfach in appellatorischer Weise der eigene, den obergerichtlichen Feststellungen widersprechende oder davon abweichende Standpunkt dargestellt, ohne dass dabei die Verletzung verfassungsmässiger Rechte angerufen würde; zwar wird zweimal das Wort "willkürlich" eingestreut, was aber für die Rüge von Verfassungsverletzungen nicht genügt, zumal die Ausführungen den hierfür geltenden Substanziierungsanforderungen nicht im Ansatz zu genügen vermögen (zu den Begründungsanforderungen bei Verfassungsverletzungen siehe E. 1). Mangels tauglicher Rügen ist mithin den weiteren Erwägungen der Sachverhalt zugrunde zu legen, wie er im angefochtenen Entscheid für das Bundesgericht verbindlich festgestellt worden ist (Art. 105 Abs. 1 BGG).
2.3 In rechtlicher Hinsicht beziehen sich die Ausführungen in der Beschwerde mehrheitlich auf die Grundsätze bei einer erstmaligen Zuteilung der elterlichen Sorge und gehen somit am Thema vorbei: Das Obergericht hat zutreffend festgehalten, dass es vorliegend weder um eine Zuteilung im Rahmen des Scheidungsurteiles noch um eine Revision desselben geht und folglich irrelevant ist, ob angesichts der bereits beim Scheidungsurteil offenkundigen Probleme zwischen den Eltern die gemeinsame elterliche Sorge überhaupt hätte ausgesprochen werden dürfen, sondern dass über ein Abänderungsbegehren im Sinn von Art. 134 Abs. 1 ZGB zu befinden ist, bei welchem es um die Frage geht, ob sich die Verhältnisse in der Zwischenzeit derart verändert haben, dass die Regelung gemäss dem in Rechtskraft erwachsenen Scheidungsurteil nicht mehr mit dem Kindeswohl zu vereinbaren ist. Dies ist nach konstanter bundesgerichtlicher Rechtsprechung dann der Fall, wenn sich die Beibehaltung der bisherigen Regelung offensichtlich nachteilig auf das Wohl des Kindes auswirken und dieses ernsthaft gefährden würde; die Veränderung der Verhältnisse muss somit die Änderung der Sorgerechtsregelung zwingend gebieten (Urteile 5C.63/2005 vom 1. Juni 2005 E. 2 [in BGE 131 III 553 nicht mitpubliziert]; 5A_616/2007 vom 23. April 2008 E. 7.1; 5A_170/2009 vom 10. Juni 2009 E. 3.1; 5A_697/2009 vom 4. März 2010 E. 3.1). Diese Voraussetzungen sind vor dem Hintergrund, dass bei der Scheidung zunehmend die geteilte elterliche Sorge belassen wird - inzwischen bei fast der Hälfte und in der französischen Schweiz sogar in der Mehrheit der Fälle (vgl. Statistik in BBl 2011 S. 9083 f.) -, und mit Blick auf die hängige Revision des ZGB, wonach die Fortführung der geteilten elterlichen Sorge zum Normalfall werden und die Übertragung der Alleinsorge an einen Elternteil nach Art. 298 Abs. 1 E-ZGB nur noch stattfinden soll, wenn dies zur Wahrung der Interessen des Kindes nötig ist (siehe BBl 2011 S. 9117; vgl. auch Botschaft BBl 2011 S. 9103), relativ streng zu handhaben, dies nicht im Sinn einer Vorwirkung der erwähnten Gesetzesvorlage, sondern als Berücksichtigung der fortschreitenden Veränderungen in der allgemeinen Rechtsüberzeugung und der täglich gelebten Rechtspraxis.
2.4 Die wenigen rechtlichen Ausführungen in der Beschwerde, welche in einem Zusammenhang mit dieser Rechtslage stehen, vermögen nicht aufzuzeigen, inwiefern das Obergericht die einschlägigen Kriterien falsch angewandt und dabei das ihm im Zusammenhang mit der Änderung der Sorgerechtszuteilung zustehende weite Ermessen (siehe Urteil 5A_170/2009 vom 10. Juni 2009 E. 3.1) unsachgemäss ausgeübt hätte:
Die Mutter legt den Fokus auf die mangelnde Kooperationsbereitschaft (welche sie ausschliesslich dem Vater anlastet) und macht geltend, angesichts der Konflikte auf der Elternebene könne die gemeinsame Sorge keinen Bestand haben, selbst wenn das Kind zu beiden Teilen eine gute Beziehung haben sollte. Indes ist nach der zitierten bundesgerichtlichen Rechtsprechung massgebend, ob sich die rechtskräftige und bisher praktizierte Regelung aufgrund veränderter Verhältnisse nicht mehr mit dem Kindeswohl verträgt, mithin die Veränderung der Verhältnisse zwingend eine Umteilung der elterlichen Sorge gebietet. Auf der Basis des obergerichtlich festgestellten Sachverhaltes ist vorliegend weder das eine noch das andere Element gegeben. Zunächst ist keine gegenüber der Lage während des Scheidungsverfahrens veränderte Situation festgestellt. Sodann hat Z._ nach den für das Bundesgericht verbindlichen Feststellungen zu beiden Elternteilen ein gutes, von Sicherheit getragenes Verhältnis und wünscht sich, die Wochenenden abwechselnd bei Vater und Mutter zu verbringen. Faktoren, welche auf eine konkrete Gefährdung des Kindeswohles schliessen lassen, sind nicht festgestellt bzw. haben sich "glücklicherweise zerstreut", wie die Mutter in ihrer Beschwerde selbst festhält. Ebenso wenig erfordert der Umstand, dass das Kind in einem (vorliegend leicht erklärbaren) Loyalitätskonflikt steht, eine Alleinzuteilung der elterlichen Sorge, hat doch das Obergericht gleichzeitig festgestellt, dass Z._ dennoch gut mit der Situation zurecht komme. Nicht zu folgen ist sodann der Behauptung, mit zunehmendem Alter - Z._ ist jetzt rund 101⁄2 Jahre alt - würde sich der Loyalitätskonflikt massiv verstärken. Im Übrigen ist (mit dem Obergericht und entgegen der Mutter) davon auszugehen, dass die Beistandschaft hilfreich sein dürfte und nicht die zwischen den Eltern bestehenden Probleme verstärkt.
3. Umstritten sind sodann die Kinderunterhaltsbeiträge.
3.1 Das Obergericht hat ausgeführt, die Mutter mache geltend, dass der Vater nunmehr ein Einkommen von Fr. 10'000.-- statt wie bei der Scheidung von Fr. 7'500.-- verdiene. Demgegenüber habe dieser vorgebracht, im Oktober 2009 an Knochenmarkkrebs erkrankt zu sein und in der Folge die Stelle verloren zu haben. Seit Januar 2011 sei er wieder zu 50 % arbeitsfähig und nunmehr selbständig berufstätig. In der Befragung habe er angegeben, zur Zeit ein Krankentaggeld von 50 % im Betrag von Fr. 5'500.-- bis Fr. 6'300.-- zu erhalten und als selbständig Erwerbender ungefähr Fr. 2'500.-- zu verdienen. Wie es sich mit all dem verhalte und ob der Vater langfristig wieder zu 100 % tätig sein könne, müsse nicht abschliessend erörtert werden, da es um die Deckung eines allenfalls grosszügigeren Bedarfs der Tochter ginge und hierzu jegliche Angaben fehlen würden. Der Antrag auf Neufestsetzung der Unterhaltsbeiträge sei deshalb abzuweisen. Im Übrigen fehle es mit dem Begehren, angemessene Kinderunterhaltsbeiträge festzusetzen, auch an einem bezifferten Antrag, wie er für Geldforderungen nötig sei; dabei wäre mit dem behaupteten Einkommen des Vaters von zumindest Fr. 10'000.-- eine Bezifferung durchaus möglich gewesen. Auch aus diesem Grund sei der Antrag der Mutter nicht weiter zu prüfen.
3.2 Im bundesgerichtlichen Verfahren sind Anträge auf Geldforderungen bei reformatorischen Rechtsmitteln zu beziffern (BGE 134 III 235 E. 2 S. 236 f.), jedenfalls soweit sich nicht aus der Begründung ohne weiteres ergibt, auf welchen Betrag der Rechtssuchende eine Geldleistung festgesetzt wissen will (BGE 125 III 412 E. 1b S. 414); ein Begehren um "Festlegung des Geschuldeten" oder "angemessene Reduktion" bzw. "angemessene Erhöhung" ist unstatthaft (BGE 121 III 390 E. 1 S. 392). Dies gilt ebenfalls im Zusammenhang mit Unterhaltsbegehren; deshalb sind insbesondere auch Anträge auf Festlegung der üblichen, angemessenen oder gesetzlichen Leistungen ungenügend (BGE 79 II 253 E. 1 S. 255; Urteile 5A_256/2007 vom 20. Juli 2007 E. 1; 5A_669/2007 vom 4. August 2008 E. 1.2.1). Diese zum Verfahren vor Bundesgericht festgehaltenen Grundsätze gelten auch für die Berufung gemäss der schweizerischen ZPO (BGE 137 III 617 E. 4.2 S. 618 f.), und zwar selbst dort, wo im Zusammenhang mit Unterhaltsforderungen für Kinder die Offizialmaxime und der Untersuchungsgrundsatz zum Tragen kommen (BGE 137 III 617 E. 4.5 bzw. E. 5 S. 620 f.). Vorliegend ging es noch um eine altrechtliche Berufung nach der zürcherischen ZPO, deren Normen nur auf willkürliche Anwendung hin überprüft werden können. § 264 Abs. 2 ZPO/ZH sieht (unter Androhung der Nichteintretensfolgen) vor, dass bezifferte Anträge zu stellen sind. Vor dem Hintergrund der zitierten, in voller Kognition ergangenen Rechtsprechung kann es umso weniger Willkür bedeuten, wenn das Obergericht die kantonalrechtlichen Grundlagen entsprechend angewandt hat.
Dem Obergericht ist mithin keine Willkür vorzuwerfen, wenn es befunden hat, das unbestimmte Begehren könne nicht weiter behandelt werden. Namentlich hilft weder der Verweis auf die hier nicht verletzte richterliche Fragepflicht noch die abwegige Behauptung, es sei sinngemäss eine Stufenklage gestellt worden, über die eigenen Versäumnisse hinweg: Vor dem Hintergrund, dass das Einkommen des Vaters im kantonalen Rechtsmittel definiert worden ist, wäre ein bezifferter Antrag ohne weiteres möglich gewesen, zumal mit Bezug auf die bestrittene Einkommenshöhe eine Beweisführung verlangt werden konnte.
Im Übrigen hätte die Mutter auch den behaupteten Mehrbedarf des Kindes substanziieren müssen. Dabei hatte sie im kantonalen Verfahren aber einzig mit Hinweisen auf die anbegehrte Alleinzuteilung und Änderung des Besuchsrechts geltend gemacht, wenn sie die Tochter an einem zusätzlichen Wochenende und an einem zusätzlichen Halbtag betreuen müsse, sei der Unterhaltsbeitrag entsprechend zu erhöhen. Mit solchen Überlegungen sind aber keine seit dem Scheidungsurteil eingetretenen konkreten Mehrkosten des Kindes dargetan, weshalb sich damit keine Bundesrechtswidrigkeit mit Bezug auf die obergerichtliche Erwägung dartun lässt, zum konkreten Bedarf würden jegliche Angaben seitens der Mutter fehlen und mit den abgestuften Unterhaltsbeiträgen sowie der Teuerungsklausel sei den infolge fortschreitenden Alters allgemein steigenden Kosten Rechnung getragen, dartun lässt.
4. Bei dem vorstehenden Ergebnis wird das (ohnehin nicht weiter begründete) Ersuchen um Anpassung der kantonalen Kostenverteilung gegenstandslos.
Wie die vorstehenden Erwägungen im Übrigen zeigen, muss die Beschwerde in Zivilsachen als von Anfang an aussichtslos bezeichnet werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (Art. 64 Abs. 1 BGG) und das betreffende Gesuch folglich abzuweisen ist. Die Gerichtskosten sind demnach ohne Vorbehalt der Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 9. März 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli