Sachverhalt: A. A.a. Der 1960 geborene A._ meldete sich im Juni 2009 wegen einer koronaren Herzkrankheit bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte verschiedene Abklärungen in erwerblicher und medizinischer Hinsicht, insbesondere veranlasste sie eine internistische Begutachtung in der Klinik und Poliklinik des Spitals B._ (Gutachten vom 8. Februar 2010) sowie eine bidisziplinäre Begutachtung bei den Dres. med. C._, FMH Psychiatrie und Psychotherapie, und med. D._, FMH Rheumatologie (Gutachten vom 23. Mai 2011). Mit Verfügung vom 14. März 2012 wies die IV-Stelle das Leistungsbegehren ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich insofern gut, als es die Sache zu weiterer Abklärung und neuer Entscheidung an die Verwaltung zurückwies (Entscheid vom 16. September 2013). A.b. Die IV-Stelle veranlasste eine polydisziplinäre (allgemeininternistisch-kardiologisch-psychiatrisch-rheumatologische) Expertise bei der Ärztliche Begutachtungsinstitut GmbH (ABI; Gutachten vom 16. Juni 2014) sowie eine Abklärung für Selbständigerwerbende (Bericht vom 10. Dezember 2014). Nach entsprechendem Vorbescheid vom 27. Januar 2015 sprach die Verwaltung A._ mit zwei Verfügungen vom 12. Mai 2015 eine Dreiviertelsrente ab dem 1. Dezember 2009 sowie eine Viertelsrente ab dem 1. November 2012 zu. B. Die dagegen von A._ erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2016 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm unter Aufhebung des angefochtenen Entscheids ab 1. Dezember 2009 eine Dreiviertelsrente zuzüglich Zins zu gewähren. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen, subeventualiter ab 1. Dezember 2009 eine Dreiviertelsrente und ab 1. November 2012 eine halbe Invalidenrente jeweils zuzüglich Zins zu gewähren.