Sachverhalt:
A. Mit Verfügung vom 19. Juli 2010 lehnte die IV-Stelle des Kantons Zürich einen Anspruch des A._, geboren 1955, auf eine Invalidenrente ab mit der Begründung, dass ein invalidisierender Gesundheitsschaden nicht ausgewiesen und der Versicherte in einer seinem Rückenleiden angepassten Tätigkeit trotz der geltend gemachten psychischen Beschwerden voll arbeitsfähig sei.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2012 ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm mit Wirkung ab Oktober 2008 eine Dreiviertelsrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Prozessführung.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (<ref-law>).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zu den Begriffen der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), insbesondere auch bei Beeinträchtigungen der psychischen Gesundheit (<ref-ruling> E. 2.2.1 S. 353; <ref-ruling> E. 4c in fine S. 298), zur Neuanmeldung, bei welcher in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen ist (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV; <ref-ruling> E. 3a; <ref-ruling> E. 2.2 S. 72), zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 4.3 S. 468 ff.; <ref-ruling> E. 3 S. 352 ff.) sowie zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc) zutreffend dargelegt. Darauf wird verwiesen.
3. Nach den vorinstanzlichen Erwägungen ist zu prüfen, ob sich seit der letztmaligen materiellen Beurteilung des Rentenanspruchs durch die IV-Stelle mit Einspracheentscheid vom 19. November 2003 eine relevante Verschlechterung eingestellt hat.
Gemäss ärztlicher Einschätzung sei der Beschwerdeführer damals zufolge der geklagten Lumbalgien im angestammten Beruf als Hilfsarbeiter im Baugewerbe nur noch zu 50 %, in einer leidensangepassten Tätigkeit jedoch voll arbeitsfähig gewesen. In somatischer Hinsicht sei seither keine Veränderung eingetreten; gemäss den Berichten des Dr. med. H._, Chirurgie FMH, vom 9. und vom 14. April 2009 seien dem Versicherten körperlich leichte Tätigkeiten auch weiterhin im Umfang eines Vollzeitpensums zumutbar.
Im Rahmen der hier zu beurteilenden Neuanmeldung war des Weiteren ein psychisches Leiden geltend gemacht worden. Nach eingehender Würdigung der Berichte der Frau Dr. med. P._, Psychiatrie und Psychotherapie FMH (vom 3. November 2008 und vom 7. Oktober 2010), welche den Beschwerdeführer seit März 2008 behandelt, des medizinischen Zentrums X._ (vom 16. Februar 2009), wo sich der Beschwerdeführer vom 1. Oktober bis zum 25. November 2008 zur Rehabilitation aufgehalten hatte, des Dr. med. K._, Psychiatrie und Psychotherapie FMH, welcher im Auftrag der Invalidenversicherung ein Gutachten vom 8. Juni 2009 erstattet hatte, sowie des Untersuchungsberichts des Prof. Dr. med. F._, Psychiatrie und Psychotherapie FMH, vom Regionalen Ärztlichen Dienst RAD (vom 14. Januar 2010) gelangte das kantonale Gericht zum Schluss, dass eine psychisch bedingte Invalidität nicht ausgewiesen ist. Die diagnostische Einordnung des psychischen Beschwerdebildes (anhaltende somatoforme Schmerzstörung gemäss ICD 10 F45.4 oder Symptomausweitung bei ungenügender Kooperation und Leistungsbereitschaft mit Selbstlimitierung ohne Krankheitswert; depressiver Zustand) war nach Auffassung der Vorinstanz nicht abschliessend zu klären. Ausschlaggebend war diesbezüglich, dass sowohl die behandelnde Ärztin Frau Dr. med. P._ als auch die Ärzte des medizinischen Zentrums X._ von mittelgradigen depressiven Episoden (ICD 10 F32.1/32.11) ausgegangen waren, womit es an der erforderlichen Erheblichkeit des Leidens fehlte, und das Beschwerdebild nach den vorinstanzlichen Ausführungen zudem von invaliditätsfremden psychosozialen Belastungsfaktoren wie namentlich der seit 2001 andauernden Arbeitslosigkeit und langjährigen Fürsorgeabhängigkeit mitbestimmt wird. Des Weiteren liegt nach den Erwägungen des kantonalen Gerichts auch keines der bei Schmerzstörungen von der Praxis alternativ zur psychischen Komorbidität umschriebenen Kriterien vor, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern können (vgl. <ref-ruling> E. 2.2.3 S. 354 f.; <ref-ruling> E. 1.2 S. 50 f.).
4. Beschwerdeweise wird eine Invalidisierung durch das psychische Leiden geltend gemacht und zur Begründung angeführt, dass seit März 2005 eine im Wesentlichen unveränderte depressive Symptomatik andauere.
4.1 Eine psychisch bedingte Invalidität im Sinne des Gesetzes liegt nur dann vor, wenn ein psychisches Leiden von erheblicher Schwere, Intensität, Ausprägung und Dauer fachärztlich ausgewiesen ist und es der betroffenen Person trotz Aufbietung allen guten Willens, die verbleibende Leistungsfähigkeit zu verwerten, wegen ihrer Beschwerden nicht zuzumuten ist, einer Erwerbstätigkeit nachzugehen, wobei das Mass des Forderbaren weitgehend objektiv bestimmt wird (<ref-ruling> E. 2.2.1; BGE <ref-ruling> E. 1.2 S. 50).
4.2 Ob eine anhaltende somatoforme Schmerzstörung oder ein vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand vorliegt und bejahendenfalls, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern (vgl. dazu im Detail BGE <ref-ruling> E. 1.2 S. 50 mit Hinweisen; <ref-ruling> und 396), betrifft den Sachverhalt. Rechtsfrage ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine im Hinblick auf eine erwerbliche Tätigkeit nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf deren invalidisierenden Charakter zu gestatten (SVR 2011 IV Nr. 57 S. 171, 8C_958/2010 E. 4.2.2; oben E. 1).
4.3 Wie das kantonale Gericht zutreffend erkannt hat, sind die behandelnden Ärzte (Frau Dr. med. P._, medizinisches Zentrum X._) in den erwähnten Berichten stets von depressiven Episoden ausgegangen. Allein gemäss Einschätzung des Gutachters Dr. med. K._ besteht seit etwa 2005 eine anhaltende Einschränkung in der Arbeitsfähigkeit, wobei er sich indessen massgeblich auf die Angaben des Versicherten selber stützt.
4.4 Es fällt jedoch auf und ist entscheidwesentlich, dass sich der Beschwerdeführer erst im März 2008 in die psychiatrische Behandlung der Frau Dr. med. P._ begeben hat. Dass seither eine intensive und regelmässige psychiatrische Betreuung erforderlich gewesen wäre, kann nach Lage der Akten nicht angenommen werden. Frau Dr. med. P._ berichtete am 7. Oktober 2010, dass die Konsultationen anfänglich, also ab März 2008, einmal pro Monat stattgefunden hätten. Im Oktober/November 2008 weilte der Beschwerdeführer während acht Wochen im psychosomatischen, medizinischen Rehabilitationszentrum X._. In der Folge fand er sich gemäss seinen Angaben gegenüber dem psychiatrischen Gutachter im Juni 2009 wiederum zu monatlichen Sitzungen bei Frau Dr. med. P._ ein. Später suchte er sie gemäss deren Bericht vom 7. Oktober 2010 nur noch alle zwei Monate auf.
4.5 Die Sitzungen bei Frau Dr. med. P._ beschränkten sich auf stützende Gespräche; eine Psychotherapie war aufgrund ungenügender Sprachkenntnisse erschwert. Die antidepressive Medikation mit Cipralex und Trittico setzte der Versicherte wegen Nebenwirkungen ab, worauf die Ärztin eine Neueinstellung auf Cymbalta in Kombination mit Truxal zur Sedierung und Linderung der Schlafstörung verordnete. Anlässlich seines Aufenthalts im medizinischen Zentrum X._ konnte der Beschwerdeführer nicht hinreichend medikamentös behandelt werden, da er nicht genau habe angeben könne, welche Medikamente er derzeit einnehme und in der Vergangenheit erhalten habe. Er wurde um Abgabe einer schriftlichen Aufstellung der Medikation gebeten, was aber nicht möglich gewesen sei. Im Übrigen profitierte der Beschwerdeführer zwar von der Tagesstruktur, das psychische Leiden konnte jedoch nur wenig gebessert werden. Gemäss Bericht des Dr. med. K._ klagte der Beschwerdeführer darüber, dass sämtliche medikamentösen Behandlungsversuche keinen Erfolg gebracht hätten; indessen war nach Einschätzung des begutachtenden Psychiaters unklar, ob die Medikamente eingenommen wurden. Er erachtete Blutspiegelkontrollen als indiziert und zumutbar. Soweit aus den Akten ersichtlich, haben solche Kontrollen jedoch nicht stattgefunden, zumal auch weil sich der Versicherte nicht unter regelmässiger (haus-) ärztlicher Betreuung befand. Ob sich der Beschwerdeführer einer regelmässigen antidepressiven Medikation unterzieht, ist somit nicht zuverlässig zu beurteilen, und auch insgesamt kann die psychotherapeutische Behandlung nur als unzulänglich gelten (vgl. Urteil 8C_958/2010 vom 25. Februar 2011 E. 6.2.2.2).
4.6 Prof. Dr. med. F._ konnte dem Gutachter, welcher eine rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, ICD 10 F33.1, diagnostiziert hatte, insbesondere auch deshalb nicht folgen, weil der Versicherte bei der Untersuchung durch den RAD zwar bestätigte, unter den jeweils erfragten depressiven Symptomen zu leiden, sein Verhalten in der Interaktion mit dem Übersetzer jedoch nicht dem typischen Verhalten einer mittelschweren Depression entsprochen habe. Nach Auffassung des Prof. Dr. med. F._ lag eine Dysthymie vor. Ganz auffällig sei gewesen, dass der Versicherte einfache Fragen wie etwa nach dem Alter seiner Kinder angeblich nicht habe beantworten können und auch nichts weiter ausgeführt habe zu einem im Jahr 1999 erlittenen Unfall, bei dem ihm ein Brett auf den Vorderarm gefallen sei und der seiner Meinung nach die geklagten chronischen Schmerzen ausgelöst habe. Die Beschreibung dieser Schmerzen sei ebenfalls unpräzise gewesen und die vom Versicherten präsentierte erhebliche Behinderung erscheine angesichts seiner lebhaften Interaktion mit dem Übersetzer nicht plausibel. Das Fehlen jeder Leistungsbereitschaft und das Ausmass der Selbstlimitierung spreche für eine Symptomausweitung, ein dysfunktionales Verhalten ohne Krankheitswert (vgl. dazu BGE <ref-ruling> E. 1.2 S. 51). Diese Schilderungen des RAD werden im Einzelnen nicht bestritten.
4.7 Unter Berücksichtigung der dargelegten Umstände kann das psychische Leiden mit der Vorinstanz nicht als hinreichend erheblich und längerfristig invalidisierend qualifiziert werden. Nach den Erwägungen des kantonalen Gerichts liegt auch keines der von der Praxis alternativ zur psychischen Komorbidität umschriebenen Kriterien vor, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern könnten, was beschwerdeweise nicht bestritten wird. Die vorinstanzliche Beurteilung, wonach das geltend gemachte psychische Leiden keine Invalidisierung zu bewirken vermag, ist daher nicht zu beanstanden. Der einzige Einwand des Versicherten, dass er seit 2005 unter psychischen Beschwerden leide, kann mit Blick auf die geschilderten Umstände zu keinem anderen Ergebnis führen, zumal auch seiner Auffassung, dass es sich um eine unverändert anhaltende erhebliche depressive Störung handle, nicht gefolgt werden kann.
5. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>). Die unentgeltliche Rechtspflege im Sinne der vorläufigen Befreiung von den Gerichtskosten kann gewährt werden, weil die Bedürftigkeit aktenkundig und die Beschwerde nicht als aussichtslos zu bezeichnen ist (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege im Sinne der vorläufigen Befreiung von den Gerichtskosten gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Dezember 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Durizzo