Sachverhalt:
A. Die Yogalehrerin Y._ und der Hare-Krishna-Wandermönch X._ lernten sich 1999 in Indien kennen. Im Jahr 2000 kehrten sie wegen der ersten Schwangerschaft in die Schweiz zurück, wo sie dann auch heirateten. Nachdem hier auch das dritte Kind geboren war, wanderten sie anfangs 2006 wieder nach Indien aus, wo sie rund drei Jahre lang in der Hare-Krishna-Gemeinschaft lebten, wobei sie jeweils die Regenzeit in der Schweiz bzw. in Bali verbrachten. Nach der Trennung kehrte die Ehefrau mit den drei Kindern in die Schweiz zurück.
B. Am 10. Juni 2009 reichte die Ehefrau ein Eheschutzgesuch ein. Mit Verfügung vom 7. Januar 2010 stellte das Bezirksgericht Meilen die Trennung der Parteien fest und stellte die Kinder A._ (geb. ***2000), B._ (geb. ***2002) und C._ (geb. ***2005) unter die Obhut der Mutter, unter Erteilung eines Besuchs- und Ferienrechts an den Vater. Sodann verpflichtete es diesen zu Frauenalimenten von Fr. 3'520.-- und Kinderalimenten von je Fr. 900.-- (zzgl. allfällige Kinderzulagen) pro Monat, unter Feststellung, dass er an diese Beiträge vom 1. Oktober 2008 bis 31. Oktober 2009 bereits Fr. 4'000.-- pro Monat bezahlt hatte.
Beide Parteien rekurrierten gegen diesen Entscheid. Die Ehefrau wandte sich gegen die Abweisung ihres Gesuches um unentgeltliche Rechtspflege; der Ehemann focht die Abweisung seines Gesuches um unentgeltliche Rechtspflege an und verlangte überdies, dass er von jeglichen Unterhaltsverpflichtungen gegenüber seiner Ehefrau entbunden und der Unterhalt für die Zeit ab 1. November 2009 auf maximal Fr. 200.-- pro Kind begrenzt werde.
Mit Beschluss vom 13. April 2012 hiess das Obergericht des Kantons Zürich die Rekurse teilweise gut, indem es beiden Parteien ab dem erstinstanzlichen Verfahren die unentgeltliche Rechtspflege gewährte und die Unterhaltsbeiträge ab 1. Oktober 2008 auf Fr. 2'520.-- für die Ehefrau und auf Fr. 750.-- (zzgl. allfällige Familienzulagen) pro Kind festsetzte.
C. Gegen diesen Beschluss hat X._ am 18. Mai 2012 eine Beschwerde in Zivilsachen erhoben mit den Begehren, die Unterhaltspflicht gegenüber der Ehefrau mangels Leistungspflicht aufzuheben und den Kinderunterhalt ab 1. November 2009 auf Fr. 200.-- pro Kind festzusetzen; evetualiter wird die Rückweisung der Sache an das Obergericht beantragt. Mit Präsidialverfügung vom 6. Juni 2012 wurde der Beschwerde mit Bezug auf die bis April 2012 fälligen Unterhaltsbeiträge die aufschiebende Wirkung erteilt und das betreffende Gesuch im Übrigen abgewiesen. In der Sache selbst wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten sind die Fr. 30'000.-- übersteigenden vermögensrechtlichen Belange in einer kantonal letztinstanzlich entschiedenen Zivilsache; die Beschwerde ist somit gegeben (Art. 51 Abs. 4, Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Weil Eheschutzentscheide vorsorgliche Massnahmen im Sinn von Art. 98 BGG darstellen (<ref-ruling> E. 5.1 S. 397), kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden. Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG). Der Beschwerdeführer nennt keine Verfassungsnorm, streut aber mehrmals das Wort "willkürlich" in seine Beschwerdebegründung.
2. Mangels tauglicher Angaben bzw. Offenlegung der finanziellen Situation durch den Ehemann haben die kantonalen Gerichte für die Bestimmung seines durchschnittlichen Einkommens auf die Konten- und Kreditkartenbezüge der letzten Jahre abgestellt. Das Bezirksgericht stellte jährliche Eingänge auf dem Postfinance-Konto von rund Fr. 57'000.-- (2006), Fr. 54'200.-- (2007), Fr. 80'000.-- (2008) und Fr. 74'300.-- (2009) sowie Kreditkartenbezüge im Jahr 2009 von monatlich rund Fr. 800.-- fest; es ging als Folge davon aus, dass der Ehemann aktuell über ein Einkommen von mindestens Fr. 7'000.-- pro Monat verfüge.
Vor Obergericht reichte der Ehemann mit seinem Rekurs und sodann im Anschluss an die Referentenaudienz mit einer Noveneingabe verschiedene Dokumente ein, so eine "Schenkungsbestätigung" von seiner Mutter über Fr. 10'000.-- und "Bestätigungen" von W._ betreffend Autokauf sowie insbesondere "Spendenbestätigungen" von diversen Personen und "Bestätigungen" der Hare-Krishna-Glaubensgemeinschaft (ISKCON), mit welchen er nachweisen wollte, dass es sich bei den auf seinen Konten eingegangenen Geldern nicht um Einkommen, sondern um gesammelte Spenden handle. Er machte in diesem Zusammenhang geltend, die ISKCON in Mayapur werde von Spenden aus aller Welt unterstützt und es gehöre zu seinen Aufgaben als Wanderprediger, diese Spendengelder bei Auslandsreisen einzusammeln. Er bezahle diese Gelder jeweils bei seinen Schweiz-Aufenhalten auf das Postfinance-Konto ein und hebe sie vorgängig zur Abreise nach Indien wiederum ab, um sie in Mayapur der ISKCON zu übergeben. Zu den Kreditkartenabrechnungen fügte er an, dass er im Rahmen seiner Tätigkeit als Wanderpriester die Reisekosten jeweils im Voraus bezahle und sie vor Ort von den Hare-Krishna-Zentren zurückerstattet erhalte. Er erziele lediglich bei seinen Aufenthalten in der Schweiz ein kleines Einkommen. Das Obergericht hielt diese Ausführungen und "Bestätigungen" weitgehend für unglaubwürdig, zumal nach seinen Feststellungen verschiedenen von der ISKCON "bestätigten" Zahlungen keine Transaktionen auf dem Postfinance-Konto gegenüberstanden und umgekehrt mehrere grosse Beträge abgehoben wurden, aber erst viel später wieder angebliche Zahlungen an die ISKCON erfolgten; vor diesem Hintergrund könne die Behauptung, dass es sich bei den Einzahlungen auf dem Postfinance-Konto um Spenden statt Einkommen gehandelt habe, nicht als glaubhaft erachtet werden. Was sodann die angebliche Schenkung der Mutter anbelange, sei aus dem Kontoauszug der PostFinance keine entsprechende Einzahlung ersichtlich, und der Ehemann gebe für seine Erklärung, das Geld erst drei Monate später einbezahlt zu haben, keine plausiblen Gründe an. Im Unterschied zum Bezirksgericht rechnete das Obergericht allerdings verschiedene Gutschriften, deren Herkunft nicht nachweisbar war, sowie verschiedene Beträge, die es als zweckgebundene Spenden anerkannte, nicht als Einkommen an. Des Weiteren akzeptierte es die Behauptung des Ehemannes, er müsse die Reisekosten jeweils selbst vorschiessen und erhalte sie rückvergütet, weshalb es davon absah, die per Kreditkarte getätigten Ausgaben als Einkommen aufzurechnen. Insgesamt ging es von einem Einkommen von Fr. 45'973.-- (2006), von Fr. 107'000.-- (2007), von Fr. 52'100.-- (2008) und von Fr. 37'330.-- (erste zehn Monate 2009) und daraus resultierend von einem Durchschnittseinkommen von Fr. 5'770.-- pro Monat aus.
3. Was der Ehemann in seiner Beschwerde vorbringt, ist nicht geeignet, eine Verletzung verfassungsmässiger Rechte aufzuzeigen. Sinngemäss macht er Willkür geltend und stellt jeweils den aus einer Auflistung der Ausgaben pro Jahr resultierenden rechnerischen "Überschuss" den behaupteten Einzahlungen bzw. Ablieferungen in Indien gegenüber, welche sich jeweils die Waage halten sollen. Indes ist mit einer Auflistung von Ausgaben von vornherein keine Willkür darzutun, geht es doch um die Bestimmung der Einkommenshöhe, nicht um die Bestimmung des Bedarfes. Sodann ist mit dem blossen Wiederholen seiner Version, wonach er jeweils die eingesammelten Spendengelder bei seinen Aufenthalten in der Schweiz auf das Postfinance-Konto einbezahlt habe, um sie kurz vor der Abreise nach Indien in bar zu beziehen und sie dort auf Konten der ISKCON einzubezahlen oder für konkrete Projekte zu verwenden, und der Behauptung, damit sei die Verwendung der Gelder belegt, keine Willkür darzutun. Das Obergericht hat begründet, weshalb diese - im Übrigen jeglicher Lebenserfahrung und vernünftigem Verhalten widersprechende - Vorgehensweise nicht als erwahrt gelten kann (fehlende Übereinstimmung zwischen den Bewegungen auf dem Postfinance-Konto und den "Bestätigungen" aus Indien). Zu bemerken ist im Zusammenhang mit den vom Obergericht als Einkommen angesehen Geldern auch, dass weder für die angeblichen Spenden noch für die angebliche Ablieferung der in bar nach Indien eingeführten Gelder Bankbelege vorliegen, sondern einzig die bereits erwähnten "Bestätigungen" von Spendern und Hare-Krishna-Funktionären. Inwiefern das Obergericht in Willkür verfallen sein soll, wenn es vor diesem Hintergrund die Eingänge auf dem Postfinance-Konto zum grösseren Teil als Einkommen des Ehemannes angesehen hat, ist nicht ersichtlich. Insbesondere ist es auch nicht willkürlich, wenn das Obergericht dem Ehemann für das Jahr 2007 ein Einkommen von Fr. 107'000.-- angerechnet hat, welches höher war als in den anderen Jahren. Dies ist darauf zurückzuführen, dass der Zahlungseingang vom 24. August 2007 auf dem Privatkonto bei der ZKB über Fr. 55'000.-- ebenfalls als Einkommen angesehen wurde, weil der Ehemann hierzu keine glaubwürdigen Angaben machen konnte oder wollte. So hat das Obergericht festgehalten, dass er diesen Betrag am 27. August 2007 nach Mayapur überwiesen habe, dies entgegen seinen Ausführungen im Rekursverfahren, wonach er den Betrag abgehoben und in bar nach Indien genommen habe. Auch die Herkunft des Betrages sei unklar. Gemäss Kaufvertrag vom 1. Januar 2007 wolle der Ehemann einen BMW 530d Touring für Fr. 15'000.-- an W._ verkauft haben, welcher bestätigt habe, den Betrag in bar bezahlt zu haben. Bei den Akten liege aber auch eine Stellungnahme von W._, in welcher dieser bestätige, den Betrag in Raten bereits im Jahr 2006 bezahlt zu haben. Im Übrigen sei der Eingang von Fr. 55'000.-- auf dem ZKB-Konto aber erst am 24. August 2007 erfolgt, weshalb kein Zusammenhang mit dem Autoverkauf glaubhaft erscheine. Sodann habe der Ehemann geltend gemacht, den anderen BMW zum Preis von Fr. 35'000.-- an einen Schwarzafrikaner veräussert zu haben, wobei keine Quittung bestehe. In einer späteren Eingabe habe er ausgeführt, den BMW X5 zum Preis von Fr. 30'000.-- ins Ausland verkauft zu haben, wobei es hierfür keine Quittung gebe. An der Hauptverhandlung habe er ausgeführt, dass er aus dem Erlös des Fahrzeugverkaufs die Unterhaltsbeiträge an die Ehefrau bezahlt habe, um kurz darauf auszuführen, dass die Autos für Fr. 20'000.-- und Fr. 30'000.-- verkauft worden seien und der Erlös das Startkapital für das Leben in Indien gebildet habe. Das Obergericht hielt weiter dafür, dass der Ehemann auch nicht habe glaubhaft machen können, dass die Fr. 55'000.-- zum Teil (nämlich im Betrag von Fr. 30'900.--) aus dem auf den Namen des Sohnes A._ lautenden Anlagesparfonds gestammt hätten. Mit all diesen Ausführungen des Obergerichtes setzt sich der Beschwerdeführer nicht im Ansatz auseinander, weshalb es seiner Willkürrüge an der nötigen Substanziierung fehlt. Insbesondere vermag er auch mit der Behauptung, er habe gar kein so hohes Einkommen mit dem blossen Verkauf von Hare-Krishna-CDs erzielen können, keine Willkür darzutun, zumal das Obergericht nirgends festgehalten hat, das Einkommen stamme allein aus dieser Quelle.
4. Zusammenfassend ergibt sich, dass im Zusammenhang mit der Bemessung des Einkommens des Beschwerdeführers keine Willkür dargetan ist. Andere Vorbringen macht der Beschwerdeführer nicht.
Die Beschwerde in Zivilsachen ist mithin abzuweisen, soweit auf sie eingetreten werden kann. Wie die vorstehenden Erwägungen zeigen, muss sie als von Anfang an aussichtslos betrachtet werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (Art. 64 Abs. 1 BGG) und das betreffende Gesuch abzuweisen ist. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG) und er hat die Beschwerdegegnerin für die Vernehmlassung zum Gesuch um unentgeltliche Rechtspflege zu entschädigen (Art. 68 Abs. 2 BGG). Zufolge Entschädigung durch den Beschwerdeführer ist das von der Beschwerdegegnerin ihrerseits gestellte Gesuch um unentgeltliche Rechtspflege nur unter dem Vorbehalt der Uneinbringlichkeit der Kosten beim Beschwerdeführer gutzuheissen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat die Beschwerdegegnerin mit Fr. 500.-- zu entschädigen.
5. Der Beschwerdegegnerin wird die unentgeltliche Rechtspflege gewährt und sie wird durch Rechtsanwalt Till Gontersweiler verbeiständet. Dieser wird für den Fall der Uneinbringlichkeit der Entschädigung gemäss Ziff. 4 aus der Gerichtskasse mit Fr. 500.-- entschädigt.
6. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 25. Juli 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli