Sachverhalt: A. Die Yogalehrerin Y._ und der Hare-Krishna-Wandermönch X._ lernten sich 1999 in Indien kennen. Im Jahr 2000 kehrten sie wegen der ersten Schwangerschaft in die Schweiz zurück, wo sie dann auch heirateten. Nachdem hier auch das dritte Kind geboren war, wanderten sie anfangs 2006 wieder nach Indien aus, wo sie rund drei Jahre lang in der Hare-Krishna-Gemeinschaft lebten, wobei sie jeweils die Regenzeit in der Schweiz bzw. in Bali verbrachten. Nach der Trennung kehrte die Ehefrau mit den drei Kindern in die Schweiz zurück. B. Am 10. Juni 2009 reichte die Ehefrau ein Eheschutzgesuch ein. Mit Verfügung vom 7. Januar 2010 stellte das Bezirksgericht Meilen die Trennung der Parteien fest und stellte die Kinder A._ (geb. ***2000), B._ (geb. ***2002) und C._ (geb. ***2005) unter die Obhut der Mutter, unter Erteilung eines Besuchs- und Ferienrechts an den Vater. Sodann verpflichtete es diesen zu Frauenalimenten von Fr. 3'520.-- und Kinderalimenten von je Fr. 900.-- (zzgl. allfällige Kinderzulagen) pro Monat, unter Feststellung, dass er an diese Beiträge vom 1. Oktober 2008 bis 31. Oktober 2009 bereits Fr. 4'000.-- pro Monat bezahlt hatte. Beide Parteien rekurrierten gegen diesen Entscheid. Die Ehefrau wandte sich gegen die Abweisung ihres Gesuches um unentgeltliche Rechtspflege; der Ehemann focht die Abweisung seines Gesuches um unentgeltliche Rechtspflege an und verlangte überdies, dass er von jeglichen Unterhaltsverpflichtungen gegenüber seiner Ehefrau entbunden und der Unterhalt für die Zeit ab 1. November 2009 auf maximal Fr. 200.-- pro Kind begrenzt werde. Mit Beschluss vom 13. April 2012 hiess das Obergericht des Kantons Zürich die Rekurse teilweise gut, indem es beiden Parteien ab dem erstinstanzlichen Verfahren die unentgeltliche Rechtspflege gewährte und die Unterhaltsbeiträge ab 1. Oktober 2008 auf Fr. 2'520.-- für die Ehefrau und auf Fr. 750.-- (zzgl. allfällige Familienzulagen) pro Kind festsetzte. C. Gegen diesen Beschluss hat X._ am 18. Mai 2012 eine Beschwerde in Zivilsachen erhoben mit den Begehren, die Unterhaltspflicht gegenüber der Ehefrau mangels Leistungspflicht aufzuheben und den Kinderunterhalt ab 1. November 2009 auf Fr. 200.-- pro Kind festzusetzen; evetualiter wird die Rückweisung der Sache an das Obergericht beantragt. Mit Präsidialverfügung vom 6. Juni 2012 wurde der Beschwerde mit Bezug auf die bis April 2012 fälligen Unterhaltsbeiträge die aufschiebende Wirkung erteilt und das betreffende Gesuch im Übrigen abgewiesen. In der Sache selbst wurden keine Vernehmlassungen eingeholt.