Sachverhalt: A. A._ und B._ sind die nicht verheirateten Eltern der 2009 geborenen Tochter C._. Im Zeitpunkt der Geburt lebten die Eltern im gleichen Haushalt. Bereits vor der Geburt hatte der Vater C._ als sein Kind anerkannt. Am 22. Juni 2009 schlossen die Eltern eine Vereinbarung, in welcher sie sich u.a. auf die gemeinsame Ausübung der elterlichen Sorge einigten. In deren Genehmigung übertrug die Vormundschaftsbehörde S._ mit Beschluss vom 23. Juli 2009 gestützt auf aArt. 298a Abs. 1 ZGB die gemeinsame elterliche Sorge. Wenige Monate später trennten sich die Eltern. Die Mutter zog mit C._ nach T._. Nach weiteren Stationen in U._ und V._ wohnt sie seit Frühsommer 2011 in W._. Laut einer Mitteilung des Bundesamtes für Migration soll sich der Vater per 2. November 2009 ins Ausland abgemeldet haben. Fakt ist jedoch, dass er nie für längere Zeit (landes-) abwesend war und seit der Trennung regelmässig Kontakt zu seiner Tochter pflegt. Seit dem Auszug aus der gemeinsamen Wohnung verfügt er über keine eigene Wohnung mehr. Er lebt mal hier und mal da, aktuell bei seinem Bruder in S._. Die Kontakte mit der Tochter finden in der Regel bei der Grossmutter väterlicherseits statt, welche im selben Haus wie der Bruder wohnt. B. Am 15. Juli 2011 beantragte die Mutter beim damals zuständigen Bezirksrat X._ die alleinige elterliche Sorge über C._. Auf Ersuchen des Bezirksrats bestellte die Vormundschaftsbehörde W._ C._ für das Verfahren eine Vertretungsbeiständin. Das Jugendsekretariat erstattete am 7. Mai 2012 seinen Bericht; es beantragte, der Mutter die alleinige elterliche Sorge einzuräumen und für C._ eine Beistandschaft im Sinn von Art. 308 ZGB zu errichten. Per 1. Januar 2013 überwies der Bezirksrat das Verfahren zuständigkeitshalber der Kindes- und Erwachsenenschutzbehörde Bezirk X._ (KESB). Nach persönlicher Anhörung der Eltern hob die KESB am 21. März 2013 die gemeinsame elterliche Sorge wegen fehlender Kooperationsfähigkeit und Kommunikationsschwierigkeiten gestützt auf aArt. 298a Abs. 2 ZGB auf und übertrug die alleinige elterliche Sorge an die Mutter, unter Regelung des Besuchsrechts des Vaters und Errichtung einer Beistandschaft gemäss Art. 308 ZGB mit konkreten Aufträgen. Dagegen erhob der Vater am 26. April 2013 eine Beschwerde, welche der Bezirksrat X._ mit Entscheid vom 20. März 2014 abwies. Die hiergegen vom Vater erhobene Beschwerde wies das Obergericht des Kantons Zürich nach mündlicher Anhörung der Eltern und der Beiständin von C._ sowie Stellungnahme der Kindesvertreterin mit Urteil vom 15. Oktober 2014 ab. C. Gegen das obergerichtliche Urteil hat A._ am 21. November 2014 beim Bundesgericht eine Beschwerde erhoben mit den Anträgen um dessen Aufhebung und Festhaltung an der gemeinsamen elterlichen Sorge über C._, eventualiter um Rückweisung der Angelegenheit an das Obergericht mit der Auflage, ein Gutachten anzuordnen; ferner verlangt er die unentgeltliche Rechtspflege. Mit Vernehmlassung vom 27. März 2015 hat die Beschwerdeführerin die Abweisung der Beschwerde beantragt; ferner verlangt sie die unentgeltliche Rechtspflege. Am 8. und 23. April 2015 erfolgten Replik und Duplik, am 8. Mai und 9. Juni 2015 Triplik und Quadruplik. Die Kindesvertreterin hatte bereits mit Schreiben vom 25. Februar 2015 auf Stel-lungnahmen verzichtet. Die Sache wurde am 27. August 2015 an einer öffentlichen Sitzung beraten.