Sachverhalt: A. Z._ ist Schuldner von R._, S._, T._, V._ und der Genossenschaft U._. Am 29. Oktober 2008 schloss Z._ mit seinem Sohn X._ zu einem Preis von Fr. 2'144'965.65 einen Kaufvertrag über sämtliche Grundstücke seines landwirtschaftlichen Gewerbes an der Strasse A._ in B._ (insgesamt 35 Parzellen, inkl. Wohnhaus und Ökonomiegebäude), unter Begründung eines lebenslänglichen Wohnrechts im Hochparterre des Wohnhauses für sich und seine Frau. Am 16. September und 7. Dezember 2009 vollzog das Betreibungsamt B._ bei Z._ Pfändungen zugunsten der vorgenannten Gläubiger. Mangels pfändbarer Aktiven wurden ihnen Verlustscheine ausgestellt (Verlustscheinforderungen von total Fr. 1'022'393.20). B. Mit Klage vom 11. Juni 2010 gegen X._ stellten die fünf vorgenannten Gläubiger die Anträge, der Kaufvertrag sei als anfechtbar zu erklären und der Beklagte habe die Pfändung und Verwertung des landwirtschaftlichen Gewerbes ohne das Wohnrecht zu dulden, wobei das Betreibungsamt B._ anzuweisen sei, die Pfändung der betreffenden Grundstücke unverzüglich zu vollziehen; eventualiter sei der Beklagte zu Ersatzleistungen entsprechend den Verlustscheinforderungen zu verurteilen. Mit Urteil vom 8. Dezember 2010 erklärte das Bezirksgericht Zurzach den Kaufvertrag als anfechtbar und verpflichtete X._ zur Duldung der Pfändung und Verwertung der Grundstücke, soweit zur Deckung der klägerischen Forderungen notwendig und ohne Beachtung des Wohnrechtes. In seiner Begründung führte das Bezirksgericht aus, dass der Kaufvertrag sowohl im Sinn von Art. 286 als auch gemäss Art. 288 SchKG anfechtbar sei. Mit Urteil vom 4. April 2012 wies das Obergericht des Kantons Aargau die hiergegen von X._ erhobene Berufung ab. In seiner Begründung hielt es die Tatbestandsvoraussetzungen von Art. 286 SchKG für erfüllt und erwog, dass sich deshalb Ausführungen zu Art. 288 SchKG erübrigen würden. C. Gegen dieses Urteil hat X._ am 23. Mai 2012 eine Beschwerde in Zivilsachen eingereicht mit den Begehren um dessen Aufhebung, eventualiter um Rückweisung der Sache zur Neubeurteilung. Ferner verlangte er die aufschiebende Wirkung sowie die unentgeltliche Rechtspflege. Mit Präsidialverfügung vom 22. Juni 2012 wurde der Beschwerde im Sinn der Erwägungen die aufschiebende Wirkung erteilt. In ihrer Vernehmlassung vom 4. Oktober 2012 schlossen die Gläubiger auf Abweisung der Beschwerde.