Sachverhalt:
A.
A.a. Der 1960 geborene A._ meldete sich im Juni 2009 wegen einer koronaren Herzkrankheit bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte verschiedene Abklärungen in erwerblicher und medizinischer Hinsicht, insbesondere veranlasste sie eine internistische Begutachtung in der Klinik und Poliklinik des Spitals B._ (Gutachten vom 8. Februar 2010) sowie eine bidisziplinäre Begutachtung bei den Dres. med. C._, FMH Psychiatrie und Psychotherapie, und med. D._, FMH Rheumatologie (Gutachten vom 23. Mai 2011). Mit Verfügung vom 14. März 2012 wies die IV-Stelle das Leistungsbegehren ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich insofern gut, als es die Sache zu weiterer Abklärung und neuer Entscheidung an die Verwaltung zurückwies (Entscheid vom 16. September 2013).
A.b. Die IV-Stelle veranlasste eine polydisziplinäre (allgemeininternistisch-kardiologisch-psychiatrisch-rheumatologische) Expertise bei der Ärztliche Begutachtungsinstitut GmbH (ABI; Gutachten vom 16. Juni 2014) sowie eine Abklärung für Selbständigerwerbende (Bericht vom 10. Dezember 2014). Nach entsprechendem Vorbescheid vom 27. Januar 2015 sprach die Verwaltung A._ mit zwei Verfügungen vom 12. Mai 2015 eine Dreiviertelsrente ab dem 1. Dezember 2009 sowie eine Viertelsrente ab dem 1. November 2012 zu.
B.
Die dagegen von A._ erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm unter Aufhebung des angefochtenen Entscheids ab 1. Dezember 2009 eine Dreiviertelsrente zuzüglich Zins zu gewähren. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, subeventualiter ab 1. Dezember 2009 eine Dreiviertelsrente und ab 1. November 2012 eine halbe Invalidenrente jeweils zuzüglich Zins zu gewähren.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Gleiches gilt für die konkrete Beweiswürdigung (Urteil 9C_204/2009 vom 6. Juli 2009 E. 4.1, nicht publ. in <ref-ruling>, aber in: SVR 2009 IV Nr. 53 S. 164).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz mit der Bestätigung der beiden Verfügungen der IV-Stelle vom 12. Mai 2015, womit dem Beschwerdeführer eine Dreiviertelsrente ab dem 1. Dezember 2009 sowie eine Viertelsrente ab dem 1. November 2012 zugesprochen worden war, Bundesrecht verletzte.
2.2. Die für die Beurteilung relevanten Rechtsgrundlagen finden sich im kantonalen Entscheid. Sie sind zutreffend dargelegt. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zum Begriff der Erwerbsunfähigkeit (Art. 7 Abs. 1 und 2 ATSG), zum Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG), zur Invaliditätsbemessung bei Erwerbstätigen nach der Einkommensvergleichsmethode (Art. 16 ATSG), zur rückwirkenden Zusprache zeitlich befristeter und/oder abgestufter Renten und die dabei gegebenenfalls zu beachtenden revisionsrechtlichen Normen (Art. 17 Abs. 1 ATSG, Art. 88a IVV) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Richtig erkannt hat die Vorinstanz ferner, dass der Ärztin oder dem Arzt hinsichtlich der Festsetzung des Arbeitsunfähigkeitsgrades nach der Rechtsprechung (<ref-ruling> E. 3.1 und 3.2 S. 194 ff.) keine abschliessende Beurteilungskompetenz zukommt. Darauf wird verwiesen.
3.
Insofern der Beschwerdeführer eine Verletzung seines Anspruchs auf rechtliches Gehör rügt, begründet er diesen Einwand mit keinem Wort, womit er seiner Begründungspflicht nicht nachkommt (Art. 42 Abs. 1 und 2 BGG). Es erübrigen sich Weiterungen dazu.
4.
Die Vorinstanz erkannte dem polydisziplinären Gutachten des ABI vom 16. Juni 2014 Beweiskraft zu. Gestützt darauf gelangte sie zum Ergebnis, die Arbeitsfähigkeit des Beschwerdeführers betrage für eine angepasste Tätigkeit (leichte bis selten mittelschwere wechselbelastende Tätigkeit - insbesondere sollten sitzende Arbeiten ohne Unterbruch auf maximal eine Stunde limitiert und die Arbeitsposition regelmässig selbständig gewechselt werden können - ohne Arbeiten in anhaltender Oberkörpervorneigeposition sowie ohne Arbeiten verbunden mit stereotypen Rotationsbewegungen von HWS und BWS) ab Mai 2009 30 % und ab August 2012 50 %. Mit Blick auf diese Feststellungen folgerte die Vorinstanz, der Beschwerdeführer habe ab dem 1. Dezember 2009 Anspruch auf eine Dreiviertelsrente und ab dem 1. November 2012 auf eine Viertelsrente.
5.
Was beschwerdeweise dagegen vorgebracht wird, dringt nicht durch.
5.1. Der Beschwerdeführer stellt den Beweiswert der ABI-Expertise vom 16. Juni 2014 in Frage, weil die Gutachter die angestammte Tätigkeit als Kurierfahrer fälschlicherweise für angepasst gehalten und sich deshalb ungenügend mit seiner Arbeits- und Erwerbsfähigkeit auseinandergesetzt hätten. Die Vorinstanz hat diesbezüglich zutreffend auf die unterschiedlichen Aufgaben von Rechtsanwender und Arztperson im Rahmen der Invaliditätsbemessung hingewiesen. So ist die Arbeitsunfähigkeit ein unbestimmter Rechtsbegriff des formellen Gesetzes (Art. 6 ATSG). Daher kommt der Arztperson bei der Folgenabschätzung der von ihr erhobenen gesundheitlichen Beeinträchtigung keine abschliessende Beurteilungskompetenz zu, sondern sie nimmt hiezu Stellung, d.h. sie gibt eine Schätzung ab. Diese ist durch die rechtsanwendenden Behörden im Rahmen der rechtlichen Vorgaben zu würdigen (<ref-ruling> E. 3.1 und 3.2 S. 194 ff.). Weil die Arbeitsfähigkeit somit keine rein medizinische, sondern letztlich eine juristische Frage ist, können sich Konstellationen ergeben, bei welchen von der im medizinischen Gutachten festgestellten Arbeitsfähigkeit abzuweichen ist, ohne dass dieses seinen Beweiswert verlöre (SVR 2013 IV Nr. 9 S. 21, 8C_842/2011 E. 4.2.2). Im vorliegenden Fall ist die Vorinstanz lediglich insofern vom Gutachten abgewichen, als sie die Tätigkeit als Kurierfahrer mit Blick auf das in der Expertise überzeugend dargelegte Anforderungsprofil für nicht angepasst hielt.
5.2. Entgegen den Einwänden in der Beschwerde haben die Gutachter des ABI begründet, weshalb ihrer Auffassung nach ab August 2012 eine Steigerung der Arbeitsfähigkeit von 30 % auf 50 % möglich gewesen sei. Sie wiesen explizit darauf hin, aufgrund der Sternumproblematik könne bis zur Rekonvaleszenz nach den zwei Operationen (Drahtcerclagenentfernung am 21. Dezember 2011 und Plattenosteosynthese am 29. Februar 2012) eine höhergradige Arbeitsunfähigkeit angenommen werden. Unter Hinweis auf die Beurteilung am Schmerzambulatorium des Spitals B._ vom 10. August 2012 hielten die Gutachter fest, die aktuell festgestellte Arbeitsfähigkeit habe sicher seit der Untersuchung im ABI (Untersuchungen vom 5. und 9. Mai 2014), wahrscheinlich bereits ab August 2012 bestanden. Gestützt darauf kam die Vorinstanz im Rahmen ihrer Beweiswürdigung zum Schluss, es sei nachvollziehbar, dass nach den durchgeführten Operationen ab August 2012 ein soweit stabiler Zustand eingetreten sei, dass mit überwiegender Wahrscheinlichkeit ab diesem Zeitpunkt von einer gesteigerten Arbeitsfähigkeit von 50 % ausgegangen werden könne. Dass diese vorinstanzlichen Feststellungen zur Arbeitsfähigkeit bzw. deren Veränderung offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein sollen, ist weder ersichtlich noch vom Beschwerdeführer substanziiert dargetan. Sie bleiben deshalb für das Bundesgericht verbindlich (vgl. E. 1 hievor). Daran ändert insbesondere nichts, dass der rheumatologische Gutachter des ABI gewisse Schwierigkeiten im Rahmen seiner retrospektiven Einschätzung des Verlaufs der Arbeits- und Erwerbsfähigkeit einräumte. Eine offensichtliche Unrichtigkeit liegt noch nicht vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2).
5.3. Der Beschwerdeführer bemängelt weiter, die IV-Stelle habe entgegen der klaren Anordnung im Rückweisungsentscheid des Sozialversicherungsgerichts des Kantons Zürich vom 16. September 2013 auf eine Evaluation der funktionellen Leistungsfähigkeit (EFL) verzichtet. Mit besagtem Rückweisungsentscheid wies das kantonale Gericht die Sache an die Verwaltung zurück, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch neu verfüge. In E. 4.4 hielt das Gericht damals fest, angesichts der aufgezeigten Unvollständigkeiten und Unklarheiten in den vorhandenen Gutachten erweise sich eine umfassende interdisziplinäre Begutachtung als notwendig, welche die Situation nach den erfolgten Operationen in kardiologischer, rheumatologischer und psychiatrischer Hinsicht zu berücksichtigen habe. Dabei erscheine es als sinnvoll, entsprechend der von der Klinik E._ im Bericht vom 6. Februar 2012 abgegebenen Empfehlung zur Klärung des genauen Belastbarkeitsprofils auch eine EFL durchzuführen.
Die Verwaltung hat die in einem Rückweisungsentscheid eines kantonalen Gerichts enthaltenen zwingenden Vorgaben grundsätzlich zu befolgen und darf auf die Durchführung der darin angeordneten Beweismassnahmen nicht verzichten. Wie die Vorinstanz unter Hinweis auf E. 5.2 des Urteils 8C_359/2010 vom 10. November 2010 richtig erwogen hat, bleibt indessen der Fall vorbehalten, dass ein im Rahmen der ergänzenden Abklärung sich neu ergebendes Beurteilungselement weitere Beweiserhebungen als überflüssig erscheinen lässt. Richtig sind auch die Ausführungen, dass eine EFL allenfalls dann in Betracht zu ziehen ist, wenn sich die beteiligten Fachärzte ausser Stande sehen, eine zuverlässige Einschätzung des leistungsmässig Machbaren vorzunehmen und deshalb eine konkrete leistungsorientierte berufliche Abklärung als zweckmässigste Massnahme ausdrücklich empfehlen. Darüber, ob eine EFL in diesem Sinne zweckmässig sein würde, konnte sich das kantonale Gericht im Zeitpunkt des Rückweisungsentscheids vom 16. September 2013 in Ermangelung eines rechtsgenüglich erstellten medizinischen Sachverhalts nicht im Klaren sein. Folgerichtig hat es eine polydisziplinäre Begutachtung als notwendig bezeichnet, in Bezug auf die EFL indessen einzig festgehalten, eine solche erscheine (nach damaligem Aktenstand) sinnvoll. Davon, dass die Gutachter in der danach zur Ergänzung des medizinischen Sachverhalts erstellten Expertise des ABI vom 16. Juni 2014 ausser Stande gewesen wären, eine zuverlässige Einschätzung des leistungsmässig Machbaren vorzunehmen und deshalb eine EFL durchzuführen wäre, kann keine Rede sein.
5.4. Schliesslich rügt der Beschwerdeführer, es sei zu Unrecht kein leidensbedingter Abzug gewährt worden. Als Begründung führt er an, er könne lediglich noch leichte Arbeiten erledigen und habe einen erhöhten Pausenbedarf. Zudem führe die Einnahme von Opiaten zur Unzulässigkeit der Teilnahme am Strassenverkehr, eingeschränkter Aufmerksamkeit und grosser Müdigkeit. Schliesslich rechtfertige auch eine bevorstehende Operation mit mehrwöchigem Arbeitsausfall einen leidensbedingten Abzug.
5.4.1. Ob und in welcher Höhe statistische Tabellenlöhne herabzusetzen sind, hängt von sämtlichen persönlichen und beruflichen Umständen des Einzelfalls ab, die nach pflichtgemässem Ermessen gesamthaft zu schätzen sind. Relevante Merkmale sind leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad (<ref-ruling> E. 5b/bb S. 80). Die Frage, ob ein Abzug vom Tabellenlohn vorzunehmen sei oder nicht, stellt eine vom Bundesgericht frei zu prüfende Rechtsfrage dar (<ref-ruling> E. 3.3 S. 399). Der Abzug hat nicht automatisch, sondern dann zu erfolgen, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer dieser Merkmale ihre gesundheitlich bedingte (Rest-) Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5b/aa S. 80).
5.4.2. Wie die Vorinstanz richtig erwogen hat, führt die gesundheitlich bedingte Unmöglichkeit, weiterhin körperlich schwere Arbeiten zu verrichten, nicht automatisch zu einer Verminderung des hypothetischen Invalidenlohns. Vielmehr ist der Umstand allein, dass nurmehr leichte bis mittelschwere Arbeiten zumutbar sind, auch bei eingeschränkter Leistungsfähigkeit kein Grund für einen zusätzlichen leidensbedingten Abzug, weil der Tabellenlohn im Anforderungsniveau 4 bereits eine Vielzahl von leichten und mittelschwere Tätigkeiten umfasst (Urteile 9C_455/2013 vom 4. Oktober 2013 E. 4.4; 9C_386/2012 vom 18. September 2012 E. 5.2). Mit der vom kantonalen Gericht anerkannten Beschränkung des Pensums und der entsprechenden Reduktion des hypothetischen Invalideneinkommens ist auch der vermehrte Pausenbedarf des Beschwerdeführers angemessen berücksichtigt. Eine zusätzliche Anrechnung im Rahmen eines leidensbedingten Abzugs käme einer unzulässigen Doppelberücksichtigung derselben Einschränkung gleich. Darauf, dass kein Abzug wegen Teilzeitarbeit vorzunehmen ist (SVR 2014 IV Nr. 37 S. 130, 8C_7/2014 E. 9.2), hat das kantonale Gericht bereits hingewiesen. Die Medikamenteneinnahme - namentlich die Einnahme von Tramal - rechtfertigt ebenfalls keinen Abzug. Abgesehen davon, dass der diesbezügliche Medikamentenspiegel gemäss der Expertise des ABI unter dem Referenzwert lag, zogen die Gutachter allfällige negative Folgen wie eine vermehrte Müdigkeit explizit in Betracht, kamen indessen zum Schluss, die Medikation werde vom Beschwerdeführer gut toleriert und könne durchaus mittel- und längerfristig eingesetzt werden. Dem Umstand, dass der Beschwerdeführer bisweilen unter Einfluss von Tramal nicht am Strassenverkehr teilnehmen kann, wurde dadurch angemessen Rechnung getragen, dass ihm die angestammte Tätigkeit als Kurierfahrer nicht mehr zumutbar ist. Was schliesslich die vom Beschwerdeführer in Aussicht gestellte Operation und einen damit zusammenhängenden mehrwöchigen Arbeitsausfall anbelangt, rechtfertigt ein solch lediglich vorübergehender, zeitlich klar abgegrenzter Arbeitsausfall keinen Leidensabzug.
5.4.3. Nach dem Gesagten bestehen keine Anhaltspunkte, dass der Beschwerdeführer wegen eines oder mehrerer der relevanten Merkmale (vgl. dazu E. 5.4.1 hievor) seine gesundheitlich bedingte Restarbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichen Erfolg verwerten könnte. Es besteht kein Anlass für einen leidensbedingten Abzug. Da die vorinstanzliche Invaliditätsbemessung im Übrigen unbestritten geblieben ist, besteht kein Anlass zu einer näheren Prüfung. Die Beschwerde ist unbegründet.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Dezember 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Der Gerichtsschreiber: Williner