Sachverhalt:
A.
A.a. A._, geboren 1968, war zuletzt vom 10. Mai 2006 bis 31. Januar 2007 als Hilfsarbeiter/Boden- und Parkettleger bei B._ angestellt. Am 14. Mai 2008 meldete er sich unter Hinweis auf eine Depression sowie eine anhaltende somatoforme Schmerzstörung zum Leistungsbezug bei der Eidgenössischen Invalidenversicherung an. Die IV-Stelle des Kantons Zürich liess ihn bei der Ärztliches Begutachtungsinstitut GmbH, Basel (ABI), polydisziplinär begutachten (Gutachten vom 23. Dezember 2009) und verneinte mit Verfügungen vom 28. Mai 2010 einen Anspruch auf berufliche Massnahmen sowie auf Rente.
A.b. Am 20. April 2011 meldete sich A._ erneut bei der IV-Stelle zum Leistungsbezug an, unter Hinweis auf eine Verschlechterung des psychischen Gesundheitszustands und einen weiteren Bandscheibenvorfall. Nach medizinischen Abklärungen verneinte die IV-Stelle wiederum einen Rentenanspruch mit Verfügung vom 12. Juni 2012. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. Januar 2014 in dem Sinn gut, als es die angefochtene Verfügung aufhob und die Sache zu weiteren medizinischen Abklärungen und neuem Entscheid an die IV-Stelle zurückwies.
A.c. Die IV-Stelle veranlasste daraufhin eine polydisziplinäre Begutachtung beim Zentrum für Medizinische Begutachtung, Basel (ZMB). Gestützt auf dessen Gutachten vom 30. Oktober 2014 verneinte die IV-Stelle mit Verfügung vom 5. Juni 2015 abermals einen Leistungsanspruch. Das Sozialversicherungsgericht hiess die dagegen gerichtete Beschwerde am 16. Dezember 2015 insofern gut, als es die angefochtene Verfügung aufhob und die Sache zu ergänzenden medizinischen Abklärungen und neuem Entscheid an die IV-Stelle zurückwies.
A.d. In der Folge holte die IV-Stelle weitere medizinische Akten ein und liess A._ von der ABI polydisziplinär begutachten (Gutachten vom 29. März 2017). Mit Verfügung vom 29. Dezember 2017 verneinte die IV-Stelle (wie vorbeschieden) einen Leistungsanspruch erneut, weil keine Verschlechterung der gesundheitlichen Situation des Versicherten seit 2010 ausgewiesen sei.
B.
Mit Entscheid vom 26. Juni 2018 hiess das Sozialversicherungsgericht des Kantons Zürich die dagegen erhobene Beschwerde teilweise gut, hob die Verfügung vom 29. Dezember 2017 auf und sprach A._ ab 1. Dezember 2013 bis 31. Juli 2016 eine Viertelsrente, ab 1. August 2016 bis 28. Februar 2017 eine ganze Rente und ab 1. März bis 31. Mai 2017 wiederum eine Viertelsrente zu. Im Übrigen wies es die Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragt, ihm sei in Aufhebung des angefochtenen Entscheids rückwirkend auf den Ablauf der Wartefrist und bis auf Weiteres eine halbe Rente der Invalidenversicherung auszurichten.
Die IV-Stelle beantragt Beschwerdeabweisung. Das Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
2.1. Streitig ist im Wesentlichen, ob das kantonale Gericht einen Anspruch auf Rentenleistungen der Invalidenversicherung für die Zeit vor dem 1. Dezember 2013 und nach dem 31. Mai 2017 zu Recht verneint hat. Dabei steht für jene erste Zeitspanne die Frage im Vordergrund, ob sich beim Beschwerdeführer seit der letzten rechtskräftigen Abweisung eines Rentenanspruchs gemäss den Verfügungen vom 28. Mai 2010 eine anspruchserhebliche Verschlechterung des Gesundheitszustands ergeben hat.
2.2. Das kantonale Gericht legte die massgebenden Bestimmungen und Grundsätze zutreffend dar. Dies betrifft insbesondere die Ausführungen zur Ermittlung des Invaliditätsgrads aufgrund eines Einkommensvergleichs (<ref-law>), zum strukturierten Beweisverfahren, das bei psychischen Erkrankungen zur Anwendung kommt (<ref-ruling>, 409; <ref-ruling>), zu den bei einer Neuanmeldung des Versicherten analog zur Revision anwendbaren Regeln (<ref-law>; Art. 87 Abs. 2 f. IVV; <ref-ruling> E. 3.2.3 S. 75 ff.; <ref-ruling> E. 3a S. 198; vgl. 133 V 198; Urteil 9C_451/2018 vom 6. November 2018 E. 3) und zum Beweiswert von ärztlichen Berichten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 ff.). Darauf wird verwiesen.
2.3. Rechtsprechungsgemäss sind die Revisionsbestimmungen (<ref-law>) bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar (<ref-ruling> E. 6.1 S. 264 mit Hinweisen), weil noch vor Erlass der ersten Rentenverfügung eine anspruchsbeeinflussende Änderung eingetreten ist mit der Folge, dass dann gleichzeitig die Änderung mitberücksichtigt wird. Wird rückwirkend eine abgestufte oder befristete Rente zugesprochen, sind einerseits der Zeitpunkt des Rentenbeginns und anderseits der in Anwendung der Dreimonatsfrist von <ref-law> festzusetzende Zeitpunkt der Anspruchsänderung die massgebenden Vergleichszeitpunkte (Urteile 8C_419/2018 vom 11. Dezember 2018 E. 2.2 sowie 8C_458/2017 vom 6. August 2018 E. 2 mit Hinweisen).
Liegt ein Revisionsgrund vor, der nicht bloss in einer unterschiedlichen Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts bestehen kann, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") zu prüfen, wobei keine Bindung an frühere Beurteilungen besteht (<ref-ruling> E. 2.3 S. 10 f. mit Hinweisen).
2.4. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.; Urteil 9C_495/2018 vom 24. Oktober 2018 E. 1.2 mit Hinweis).
3.
3.1. Das kantonale Gericht stützte sich im Wesentlichen auf das polydisziplinäre Gutachten der ABI vom 29. März 2017. Darin führten die Gutachter folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit an: eine leichte depressive Episode (ICD-10 F32.0), eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4), ein chronisches lumbovertebrales Schmerzsyndrom (ICD-10 M54.5/Z98.8). Als Diagnosen ohne Einfluss auf die Arbeitsfähigkeit nannten sie ein metabolisches Syndrom, eine Colitis ulcerosa gemäss Unterlagen (ICD-10 K51.0) und einen chronischen Nikotinabusus (ICD-10 F17.1). Die Experten kamen zum Schluss, dass sich aus der leichten depressiven Episode und der anhaltenden somatoformen Schmerzstörung eine 20%ige Einschränkung der Arbeitsfähigkeit des Versicherten ergebe. Aus Sicht des Bewegungsapparats, orthopädisch und neurologisch evaluiert, beeinflusse das chronische lumbovertebrale Schmerzsyndrom die Arbeitsfähigkeit. Für körperlich andauernd schwere Tätigkeiten und Tätigkeiten mit Zwangshaltungen bestehe eine Arbeitsunfähigkeit. Für sämtliche körperlich leichten bis mittelschweren Tätigkeiten unter Wechselbelastung liege hingegen aufgrund der objektivierbaren Befunde eine zeitlich und leistungsmässig uneingeschränkte Arbeitsfähigkeit vor. Das Heben und Tragen von Lasten über 15 kg sollte dabei vermieden werden. Im Ergebnis attestierten die Gutachter dem Beschwerdeführer aus polydisziplinärer Sicht eine Arbeits- resp. Leistungsfähigkeit von 80 % in sämtlichen körperlich leichten bis mittelschweren adaptierten Tätigkeiten, vollschichtig realisierbar. Zum Beginn und zum Verlauf der Arbeitsunfähigkeit hielten die Sachverständigen fest, dass es seit dem ABI-Gutachten vom 23. Dezember 2009 zu keiner längerdauernden Veränderung der Arbeitsfähigkeit gekommen sei. Auch nach dem am 24. Mai 2016 erfolgten Wirbelsäuleneingriff habe spätestens sechs Monate postoperativ wiederum eine uneingeschränkte Arbeitsfähigkeit für körperlich leichte bis mittelschwere Tätigkeiten bestanden.
3.2. Das kantonale Gericht sprach diesem Gutachten grundsätzlich Beweiswert zu und erachtete - nach eingehender Auseinandersetzung mit den Einwendungen des Beschwerdeführers - die gutachterliche Beurteilung der Arbeitsfähigkeit sowohl in somatischer als auch psychiatrischer Hinsicht als einleuchtend und plausibel.
Allerdings folgte es der gutachterlichen Einschätzung bezüglich des retrospektiven Verlaufs der Arbeitsfähigkeit nicht. Es hielt dazu fest, dass der psychiatrische Gutachter der ABI, Dr. med. C._, FMH Psychiatrie und Psychotherapie, die Diagnosen der mittelgradigen depressiven Episode und der anhaltenden somatoformen Schmerzstörung gemäss ZMB-Gutachten vom 30. Oktober 2014 sowie die dort attestierte "50%ige Arbeitsunfähigkeit adaptiert" als nachvollziehbar erachtet habe. Diese Einschätzung des Dr. med. C._ sei plausibel angesichts der im August 2014 im ZMB erhobenen psychiatrischen Befunde (Schmerzen, verlangsamte Bewegungen, depressive und niedergeschlagene Stimmung, Verflachung des Affekts, Einengung auf eigene Probleme, Resignation, Klagen über Sinnlosigkeit des eigenen Daseins, Erinnerungslücken, Suizidgedanken). Auch könne die Verschlechterung des psychischen Gesundheitszustands bzw. die aus psychiatrischer Sicht um 50 % eingeschränkte Arbeitsfähigkeit in sämtlichen Tätigkeiten ab dem Beginn der stationären Behandlung in der Klinik D._, d.h. ab 17. Dezember 2013 mit überwiegender Wahrscheinlichkeit als ausgewiesen gelten. Dies ergebe sich aus den Berichten der Klinik D._, die nach der Erstellung des ZMB-Gutachtens vom 30. Oktober 2014 eingeholt worden seien. Die behandelnden Ärzte der Klinik D._ hätten damals eine mittelgradige depressive Episode (IDC-10 F32.1) - Differentialdiagnose: schwergradige depressive Episode - festgestellt. Dies geschah, nachdem im Rahmen der vorangegangenen stationären Behandlung in der Klinik D._ vom 12. bis zum 24. März 2010 noch eine vom Schweregrad her weniger ausgeprägte Anpassungsstörung, längere depressive Reaktion (ICD-10 F43.21) diagnostiziert worden seien. Entgegen der Aussage der ABI-Gutachter im interdisziplinären Konsensus, wonach es seit dem ABI-Gutachten vom 23. Dezember 2009 zu keiner längerdauernden Veränderung der Arbeitsfähigkeit gekommen sei, sei von Mitte Dezember 2013 bis Mitte Februar 2017 (Zeitpunkt der Begutachtung im ABI) somit von einer aus psychiatrischer Sicht um 50 % eingeschränkten Arbeitsfähigkeit in sämtlichen Tätigkeiten auszugehen. Zudem habe nach der Operation vom 24. Mai bis Ende November 2016 bei 100%iger Arbeitsunfähigkeit eine Erwerbsunfähigkeit von 100 % und damit ein Invaliditätsgrad von 100 % bestanden.
4.
4.1.
4.1.1. Der Beschwerdeführer wirft der Vorinstanz zunächst vor, sie sei in Willkür verfallen, indem sie das Gutachten der ABI vom 29. März 2017 einerseits - betreffend der Einschätzung des gegenwärtigen Gesundheitszustands - als beweistauglich erklärt, ihm in einem wesentlichen Teil - hinsichtlich der vergangenen Entwicklung - jedoch die Beweiskraft abgesprochen habe. Dieser vom kantonalen Gericht festgestellte Fehler des Gutachtens sei derart gewichtig, dass es insgesamt nicht mehr verwertbar sei.
4.1.2. Im Rückweisungsentscheid vom 16. Dezember 2015 hatte die Vorinstanz zum psychiatrischen Teilgutachten des ZMB erwogen, dass die Diagnose der mittelgradigen depressiven Episode insofern Fragen aufwerfe, als die weiteren Feststellungen dieses Teilgutachtens auf eine anhaltende bzw. rezidivierende depressive Störung (ICD-10 F33) schliessen liessen. Weiter habe der Beschwerdeführer bereits am 2. Mai 2014 darauf hingewiesen, seit der Begutachtung durch die ABI Ende 2009 drei Mal in stationärer Behandlung in der Klinik D._ gewesen zu sein, letztmals vom 23. Dezember 2013 bis 12. Februar 2014. Die Beschwerdegegnerin habe die Arztberichte zu diesen Aufenthalten jedoch nicht eingeholt, und die stationären Behandlungen fänden im Gutachten des ZMB keine Erwähnung. Mithin bestehe Grund zur Annahme, dass die Beurteilung der Gutachter des ZMB nicht in Kenntnis der vollständigen Anamnese ergangen sei. Zudem fehlten im psychiatrischen Teilgutachten der ZMB Angaben dazu, inwiefern psychosoziale und soziokulturelle Faktoren das Beschwerdebild mitbestimmten.
4.1.3. Vor dem Hintergrund dieser Kritik scheint es auf den ersten Blick widersprüchlich, dass die Vorinstanz für die Beurteilung der vergangenen gesundheitlichen Entwicklung auch auf das betreffende Gutachten des ZMB zurückgriff. Genau betrachtet geschah dies indessen weder unbesehen noch exklusiv, sondern differenzierend, insbesondere unter dem Eindruck der im Rahmen der Begutachtung durch die ABI zusätzlich gewonnenen Erkenntnisse. Zum einen stützte sich die Vorinstanz auf die Angabe des ABI-Gutachters, Dr. med. C._, der die Einschätzung im Gutachten der ZMB als nachvollziehbar erachtete; zum andern verwendete sie die nach dem Gutachten des ZMB beigezogenen zeitnahen Berichte der Klinik D._ aus den Jahren 2010 und 2013. Wird namentlich in Betracht gezogen, dass es um die Einschätzung einer zeitlich weit zurückliegenden Arbeitsunfähigkeit geht, lässt sich aus Sicht des Bundesrechts nichts dagegen einwenden, wenn die Vorinstanz für die retrospektive Beurteilung nebst anderem auch das zeitnähere Gutachten des ZMB beizog und insofern im Vergleich zur Verfügung vom 28. Mai 2010 per Mitte Dezember 2013 auf eine anspruchserhebliche Veränderung der Arbeitsfähigkeit schloss.
4.1.4. Des weiteren ist weder beschwerdeweise dargetan noch ohne Weiteres ersichtlich, dass die betreffende Verschlechterung des Gesundheitszustandes - in Abweichung von der vorinstanzlichen Annahme - schon früher eingetreten wäre. Damit fällt eine Rentenzusprache für die Zeit vor dem 1. Dezember 2013 ausser Betracht, dies entgegen dem, was der insofern unbestimmt gehaltene und im Einzelnen nicht näher begründete Beschwerdeantrag anzudeuten scheint. Ebenso wenig lässt sich mit Blick auf die durchgehend beantragte halbe Invalidenrente bemängeln, wenn die Vorinstanz für die Zeit von 24. Mai bis Ende November 2016 wegen des damals erfolgten Eingriffs an der Wirbelsäule von einer 100%igen Arbeitsunfähigkeit aus organisch-somatischen Gründen ausging und dem Beschwerdeführer ab 1. August 2016 bis 28. Februar 2017 deswegen eine ganze Rente zusprach (vgl. E. 2.3 hiervor). Dabei stützte sie sich im Übrigen gerade auf die entsprechenden Angaben im Gutachten der ABI, ohne dass aufgezeigt würde oder erkennbar wäre, was daran offensichtlich falsch oder sonst wie bundesrechtswidrig sein sollte. Insoweit kann es mit der vorinstanzlichen Beurteilung sein Bewenden haben.
4.2. Das Erwogene zeigt, dass die Vorinstanz die verfügbaren Beweise, namentlich die aufliegenden Gutachten, nicht unbesehen und einseitig, sondern bundesrechtskonform würdigte. Insofern besteht entgegen dem, was in der Beschwerde geltend gemacht wird, auch kein Anlass, dem Gutachten der ABI rundweg jeden Beweiswert abzusprechen. Dies gilt namentlich für die Einschätzung der Arbeitsfähigkeit in der hier besonders interessierenden Zeit ab der Begutachtung im Frühjahr 2017, die laut vorinstanzlicher und ihrerseits unbestritten gebliebenen Feststellung unter Einbezug der bei allen psychischen Erkrankungen zu prüfenden Standardindikatoren erfolgte. Davon abgesehen vermag auch die beschwerdeweise erhobene Kritik nicht zu verfangen, wonach die Experten nicht auf die Zusatzfragen eingegangen seien, die das kantonale Gericht im Entscheid vom 16. Dezember 2015 in Bezug auf das ZMB-Gutachten aufgeworfen habe. Die Vorinstanz habe dies im hier angefochtenen Entscheid ihrerseits ausgeblendet und daher den Sachverhalt offensichtlich unrichtig festgestellt. Im Einzelnen zeigt der Beschwerdeführer damit jedoch nicht auf und es lässt sich auch nicht ohne Weiteres ersehen, zu welchen Punkten die ABI-Gutachter oder die Vorinstanz keine Stellung genommen hätten, weshalb sich Weiterungen dazu erübrigen.
4.3. Für die Einschätzung der Arbeitsfähigkeit im Frühjahr 2017 kann demnach - mangels offenkundiger Anhaltspunkte, die in eine andere Richtung weisen würden - grundsätzlich auf das Gutachten der ABI vom 29. März 2017 abgestellt werden. Mit dem am 24. Mai 2016 erfolgten Eingriff an der Wirbelsäule und der dadurch bedingten vollständigen Arbeitsunfähigkeit in somatischer Hinsicht, die befristet bis Ende November 2016 bestanden hatte, gab es zwei wesentliche Änderungen im Sachverhalt, die unbestreitbar je nach einer umfassenden Neubeurteilung des Rentenanspruchs (vgl. E. 2.3 hiervor) rufen. Dabei war es aus Sicht des Bundesrechts zulässig, wenn das kantonale Gericht für die Beurteilung der Arbeitsfähigkeit insbesondere ab Mitte Februar 2017 (Zeitpunkt der Begutachtung) auf das Gutachten der ABI abstellte, woran in grundsätzlicher Hinsicht auch nichts zu ändern vermag, dass sich aus diesem eine revisionsrechtlich bedeutsame Veränderung des psychischen Gesundheitszustands seit Ende 2009 nicht ableiten lässt. Dass es sodann die zuletzt erhobene Arbeitsfähigkeit nicht bereits auf Ende November 2016 zurück bezog und für die Zeit von März bis zum 31. Mai 2017 noch eine Viertelsrente zusprach, ist hier nicht weiter zu hinterfragen. Denn aufgrund des Verbots der reformatio in peius (vgl. <ref-law>) bliebe es dem Bundesgericht verwehrt, den angefochtenen Entscheid in diesem Punkt zu Ungunsten des Beschwerdeführers abzuändern (vgl. Urteile 8C_419/2018 vom 11. Dezember 2018 E. 4.1 und 4.5; 9C_126/2011 vom 8. Juli 2011 E. 6; 8C_330/2008 vom 24. Oktober 2008 E. 4.5; vgl. auch JOHANNA DORMANN, in Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N 2 zu <ref-law>).
5.
Schliesslich beanstandet der Beschwerdeführer, die Vorinstanz habe den Einkommensvergleich zur Ermittlung des Invaliditätsgrads für die Zeit vom 1. Dezember 2013 bis 31. Mai 2017 nicht korrekt vorgenommen:
5.1.
5.1.1. Bezüglich des Valideneinkommens macht der Beschwerdeführer geltend, die Vorinstanz sei zu Unrecht vom zuletzt erzielten Einkommen als Hilfsarbeiter/Boden- und Parkettleger (Fr. 18.- brutto pro Stunde) ausgegangen. Da dieser Stundenlohn weit unterdurchschnittlich sei und die Anstellung mehrere Jahre vor Einreichung des hier zu beurteilenden Rentengesuchs aufgegeben worden sei, hätte die Vorinstanz vielmehr denjenigen Tabellenlohn einsetzen müssen, den sie auch für die Berechnung des Invalideneinkommens verwendete. Daraus ergebe sich ein Invaliditätsgrad von 50 %.
5.1.2. Nach der Rechtsprechung ist bei der Ermittlung des Einkommens, das der Versicherte erzielen könnte, wäre er nicht invalid geworden (<ref-law>), in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Lohn anzuknüpfen, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre; Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.1 S. 325 f. mit Hinweis). Auf Erfahrungs- und Durchschnittswerte darf nur unter Mitberücksichtigung der für die Entlöhnung im Einzelfall relevanten persönlichen und beruflichen Faktoren abgestellt werden (<ref-ruling> E. 3.3.2 S. 30 m.H.).
Dem Beschwerdeführer ist im Ergebnis darin beizupflichten, dass für die Bemessung des Valideneinkommens nicht an der zuletzt inne gehabten Stelle angeknüpft werden kann. Der Grund liegt jedoch nicht in der zeitlichen Distanz, sondern im Umstand angelegt, dass ihm am 28. Oktober 2006 ausdrücklich aus wirtschaftlichen, mithin invaliditätsfremden Gründen gekündigt worden war, und zwar auf den 31. Januar 2007. Das Verhebetrauma, nach dem er seine Erwerbstätigkeit nicht wieder aufnahm, hatte er laut den berufsanamnestischen Angaben im ersten Gutachten der ABI am 14. Dezember 2006 erlitten, das heisst nach bereits ausgesprochener Kündigung. Auch die Verwaltung hielt ihrerseits in ihrem Feststellungsblatt vom 15. Februar 2010 fest, dass der Verlust der letzten Stelle wirtschaftlich begründet gewesen sei. Diese offenkundige Tatsache hat die Vorinstanz bei ihrem Einkommensvergleich übersehen und den Sachverhalt dementsprechend offensichtlich unrichtig festgestellt, mit der Folge, dass für die Bemessung des Valideneinkommens auf den Tabellenlohn gemäss den Lohnstrukturerhebungen des Bundesamtes für Statistik (LSE 2012, TA1, Kompetenzniveau 1, Männer, Total) abzustellen ist (vgl. Urteile 8C_124/2018 vom 25. Mai 2018 E. 5.3 und 6; 9C_725/2015 vom 5. April 2016 E. 4.1; 9C_212/2015 vom 9. Juni 2015 E. 5.4, je mit Hinweisen).
5.2. Seitens des Invalideneinkommens wirft der Beschwerdeführer der Vorinstanz vor, keinen Abzug vom Tabellenlohn vorgenommen zu haben. Allerdings kommt beim 1968 geborenen Beschwerdeführer ein Abzug aufgrund des Alters nach der Rechtsprechung nicht in Frage (Urteil 8C_469/2016 vom 7. September 2016 E. 4.3.3 mit Hinweis). Die mangelhaften Sprachkenntnisse sind bereits durch die Verwendung der Tabellenlöhne des Kompetenzniveaus 1 der LSE 2012 abgegolten (vgl. Urteil 9C_663/2014 vom 23. Oktober 2013 E. 4.2). Schliesslich steht auch die ausländische Herkunft des Versicherten der Aufnahme einer Tätigkeit in diesem Kompetenzniveau nicht entgegen. Mithin bestand kein Anlass für einen Tabellenlohnabzug. Dies wäre im Rahmen des angefochtenen Gerichtsentscheids zusätzlich zu erwägen gewesen, wobei offen bleiben mag, ob die Vorinstanz in diesem Punkt gegen ihre Begründungspflicht verstossen hat. Denn ein allfälliger Mangel wäre nicht nur für den Verfahrensausgang unerheblich, sondern - mit Blick auf die sich ausschliesslich stellende Rechtsfrage (<ref-ruling> E. 5.1 S. 72; <ref-ruling> E. 3.3 S. 399) - heilbar.
5.3. Da sich Validen- und Invalideneinkommen aufgrund derselben LSE-Statistik bestimmen und ein leidensbedingter Abzug ausser Betracht fällt, resultiert insbesondere für die Zeit ab Mitte Dezember 2013 bis 24. Mai 2016 bei einer vorinstanzlich festgestellten Arbeitsunfähigkeit von 50% ein entsprechender Invaliditätsgrad (Urteil 9C_882/2010 vom 25. Januar 2011 E. 7.3.1). Dies führt dazu, dass dem Beschwerdeführer für die Zeit von 1. Dezember 2013 bis 31. Juli 2016 in Abänderung des vorinstanzlichen Entscheids eine halbe Rente zuzusprechen und die Beschwerde in diesem Sinn gutzuheissen ist. Keiner Rentenerhöhung bedarf es für die Zeit von 1. März bis 31. Mai 2017, da gemäss Gutachten der ABI ab Mitte Februar 2017 (rund neun Monate nach erfolgter Operation) von einer 80%igen Arbeitsfähigkeit in sämtlichen körperlich leichten bis mittelschweren adaptierten Tätigkeiten auszugehen ist.
6.
Der Beschwerdeführer gilt bei diesem Ergebnis als teilweise obsiegend. Die Gerichtskosten sind daher anteilsmässig zu verlegen (<ref-law>). Die Beschwerdegegnerin hat ihm für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 26. Juni 2018 insoweit abgeändert, als dem Beschwerdeführer für die Zeit von 1. Dezember 2013 bis 31. Juli 2016 eine halbe Rente der Invalidenversicherung zugesprochen wird. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden je zur Hälfte dem Beschwerdeführer und der IV-Stelle des Kantons Zürich auferlegt.
3.
Die IV-Stelle des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. März 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart