Sachverhalt:
A.
A.a. A._, geboren 1961, arbeitete seit dem 1. Januar 1991 bei der B._ AG als Lagerist und Sachbearbeiter. Nachdem er seit dem 24. Dezember 1998 zu 100 % krankgeschrieben war, meldete er sich am 15. März 2000 unter Hinweis auf eine Diskushernie erstmals bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte ein Gutachten des Ärztlichen Begutachtungsinstituts ABI, Basel, vom 4. Februar 2002 ein, wonach er aus somatischen Gründen in der angestammten Tätigkeit zu 100 % arbeitsunfähig sei, körperlich leichte und angepasste Tätigkeiten jedoch mit einem Pensum von 50 % zumutbar seien. Aus psychiatrischer Sicht bestehe eine Einschränkung um 10 %. Die IV-Stelle ermittelte einen Invaliditätsgrad von 80 % und sprach A._ ab dem 1. Dezember 1999 eine ganze Invalidenrente zu (Verfügung vom 16. August 2002). Am 27. September 2004 bestätigte sie den Rentenanspruch.
A.b. Im Zuge einer von Amtes wegen eingeleiteten Revision holte die IV-Stelle ein orthopädisch-psychiatrisches Gutachten des Medizinischen Gutachtenzentrums St. Gallen MGSG vom 17. Juni 2009 mit Ergänzung vom 23. November 2009 ein, welches A._ eine 90%ige Arbeitsfähigkeit bescheinigte. Mit Verfügung vom 7. März 2011 hob sie den Rentenanspruch auf. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 10. Dezember 2012 ab.
A.c. Am 17. Dezember 2013 meldete sich A._ erneut bei der Invalidenversicherung an und berief sich auf die Berichte des Dr. med. C._, Innere Medizin und Rheumatologie FMH, vom 19. Januar 2014 sowie des Dr. med. D._, Psychiatrie und Psychotherapie FMH, vom 28. Februar 2014. Die IV-Stelle trat auf das Gesuch nicht ein (Verfügung vom 10. April 2014).
A.d. Am 12. Mai 2015 reichte A._ eine weitere Neuanmeldung mit den Berichten des Dr. med. C._ vom 22. Juni 2015, des Dr. med. E._, Allgemeine Medizin FMH, vom 8. September 2015 sowie des Dr. med. D._ vom 10. September 2015 ein. Mit Verfügung vom 13. Mai 2016 lehnte die IV-Stelle einen Rentenanspruch ab.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. Dezember 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides seien ihm die gesetzlichen Leistungen, insbesondere eine Invalidenrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - vorinstanzliche Sachverhaltsfeststellung kann das Bundesgericht nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG).
2.
2.1. Streitig und zu prüfen ist, ob die vorinstanzlich bestätigte Ablehnung eines Rentenanspruchs nach Neuanmeldung vor Bundesrecht standhält. Umstritten ist dabei, ob eine rentenerhebliche Verschlechterung des psychischen Gesundheitszustandes eingetreten ist.
2.2. Die Streitsache kann ohne Schriftenwechsel entschieden werden, weshalb die in der Beschwerde beantragte Durchführung eines zweiten Schriftenwechsels von vornherein ausscheidet (Art. 102 Abs. 1 und 3 BGG).
3.
Das kantonale Gericht hat die analog zur Revision nach Art. 17 ATSG anwendbaren Regeln über die Neuanmeldung der versicherten Person nach vorausgegangener Rentenverweigerung (Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV; BGE 130 V 71 E. 2.2 S. 72; 117 V 198 E. 3a) zutreffend dargelegt. Es wird darauf verwiesen. Zu ergänzen ist der für das Revisionsrecht geltende Grundsatz, dass eine bloss abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes keine revisionsrechtlich relevante Änderung darstellt (BGE 112 V 371 E. 2b S. 372 unten; Urteil 8C_481/2013 E. 2.2, nicht publ. in: BGE 139 V 585, aber in: SVR 2014 UV Nr. 7 S. 21).
Anzufügen ist des Weiteren, dass bei psychischen Störungen unabhängig von der klassifikatorischen Einordnung einer Krankheit allein aus einer Diagnose - mit oder ohne diagnoseinhärentem Bezug zum Schweregrad - keine verlässliche Aussage über das Ausmass der mit dem Gesundheitsschaden korrelierenden funktionellen Leistungseinbusse resultiert. Auch wenn die diagnostische Einordnung medizinisch notwendig ist, kann es aus juristischer Sicht damit nicht sein Bewenden haben. Entscheidend bleibt letztlich vielmehr die Frage der funktionellen Auswirkungen einer Störung. Die ärztliche Arbeitsunfähigkeitsschätzung kann, zumindest ohne einlässliche Befassung mit den spezifischen normativen Vorgaben und ohne entsprechende Begründung, den rechtlich geforderten Beweis des Vorliegens einer Erwerbsunfähigkeit (Art. 7 Abs. 2 ATSG) nicht erbringen, weil sie weitgehend vom Ermessen des medizinisch-psychiatrischen Sachverständigen abhängt (fehlende Reliabilität in der ärztlichen Folgenabschätzung; BGE 143 V 418 E. 6 S. 426 f.).
4.
Das kantonale Gericht stellte fest, dass der Beschwerdeführer gemäss MGSG-Gutachten vom 7. September 2009, auf dem die rentenaufhebende Verfügung vom 7. März 2011 basiert habe, zu 90 % arbeitsfähig gewesen sei. Aus somatischer Sicht seien körperlich schwere Tätigkeiten wegen degenerativer Hals- und Lendenwirbelsäulenveränderungen nicht mehr möglich gewesen. Aus psychiatrischer Sicht habe er unter einer chronifizierten leichten depressiven Störung im Sinne einer Dysthymie sowie unter einer anhaltenden somatoformen Schmerzstörung gelitten, wobei sich seit der Begutachtung im ABI keine wesentliche Veränderung eingestellt habe. Die zum Nachweis einer Verschlechterung angerufenen aktuellen Arztberichte des Rheumatologen Dr. med. C._ sowie des Hausarztes Dr. med. E._ zeigten aus somatischer Sicht keine neuen Befunde im Vergleich zu den von den MGSG-Gutachtern erhobenen. Der Beschwerdeführer leide auch weiterhin unter chronischen lumbalen und zervikalen Schmerzen. Gleiches gelte auch für die psychischen Beschwerden mit von den Ärzten aktuell geschilderten Stimmungsschwankungen, Unruhezuständen, Reizbarkeit, Erregbarkeit und Schlafstörungen, aber auch für die durch die Schmerzen beziehungsweise durch den Schmerzmittelkonsum bedingten Konzentrationsstörungen. Nach der vorinstanzlichen Beurteilung fehlten Anhaltspunkte für eine massgebliche Verschlechterung des Gesundheitszustandes.
Der Beschwerdeführer macht geltend, dass gestützt auf die Berichte der Dres. med. E._ und D._ eine Verschlechterung des psychischen Gesundheitszustandes ausgewiesen sei.
5.
Die IV-Stelle holte nach der Neuanmeldung den Arztbericht des behandelnden Psychiaters Dr. med. D._ vom 25. November 2015 ein. Er diagnostizierte eine lang anhaltende Anpassungsstörung mit vorwiegender Beeinträchtigung anderer Gefühle (Sorgen, Schmerzen, depressive Anteile) sowie eine Schmerzverarbeitungsstörung. Als Befunde notierte er innere Unruhe sowie Ein- und Durchschlafstörungen. Er attestierte eine 100%ige Arbeitsunfähigkeit.
Dass das kantonale Gericht allein angesichts der nunmehr durch den behandelnden Arzt attestierten vollen Arbeitsunfähigkeit, aber bei praktisch gleicher Diagnosestellung und unveränderter Befunderhebung wie durch die Gutachter bei der letzten Rentenablehnung eine rentenerhebliche Erwerbsunfähigkeit im Sinne von Art. 7 Abs. 2 ATSG als nicht erstellt erachtete, ist nicht zu beanstanden. Die Vorinstanz durfte von einer revisionsrechtlich unbeachtlichen abweichenden Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhaltes ausgehen (oben E. 3). Unter den gegebenen Umständen hat sie in zulässiger antizipierter Beweiswürdigung bundesrechtskonform auf weitere Beweismassnahmen verzichtet (vgl. BGE 136 I 229 E. 5.3 S. 236; Urteil 8C_590/2015 E. 6, nicht publ. in: BGE 141 V 585, aber in: SVR 2016 IV Nr. 33 S. 102). Fehlte es an einer rentenerheblichen Veränderung insbesondere auch des psychischen Gesundheitszustandes und war daher weiterhin von psychiatrischen Befunden ohne massgebliche Auswirkung auf die Arbeitsunfähigkeit auszugehen, durfte das kantonale Gericht zudem von einem strukturierten Beweisverfahren absehen (BGE 143 V 409 E. 4.5.3 S. 417; 143 V 418 E. 7.1 S. 428 f.).
6.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint (zum Erfordernis der Nichtaussichtslosigkeit auch bei der unentgeltlichen Verbeiständung: Urteil 8C_258/2009 vom 24. August 2009 E. 7 mit Hinweisen). Dem Gesuch um unentgeltliche Rechtspflege kann zufolge Aussichtslosigkeit der Beschwerde (BGE 129 I 129 E. 2.3.1 S. 135 f.) nicht entsprochen werden.
Demnach erkennt der Präsident:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juli 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo