Sachverhalt:
A.
A.a. Der 1963 geborene und zuletzt als selbständiger Bauunternehmer tätig gewesene A._ hatte 1987 einen Autounfall mit Polytrauma erlitten. Im Juli 2007 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau tätigte verschiedene Abklärungen in erwerblicher und medizinischer Hinsicht, namentlich zog sie die Akten der Schweizerischen Unfallversicherungsanstalt (Suva) bei und veranlasste eine Abklärung in der Beruflichen Abklärungsstelle (Schlussbericht BEFAS vom 20. April 2009). Am 23. Februar 2011 verfügte die Verwaltung, A._ habe Anspruch auf eine befristete ganze Invalidenrente für den Zeitraum vom 1. Oktober 2006 bis zum 30. September 2007. Insbesondere gestützt auf ein zwischenzeitlich durch die Suva veranlasstes interdisziplinäres Gutachten der MEDAS Oberaargau (Expertise vom 16. Juli 2012) hiess das Versicherungsgericht des Kantons Aargau die von A._ gegen die Verfügung vom 23. Februar 2011 erhobene Beschwerde gut und wies die Sache an die IV-Stelle zu weiteren Abklärungen zurück (Entscheid vom 3. März 2014).
A.b. Die IV-Stelle veranlasste daraufhin eine polydisziplinäre Begutachtung in der Ärztliches Begutachtungsinstitut GmbH (Expertise vom 23. November 2015) und sprach A._ nach durchgeführtem Vorbescheidverfahren eine ganze Rente vom 1. Oktober 2006 bis zum 31. Oktober 2007 (Invaliditätsgrad 100 %) sowie ab dem 1. Januar 2013 (Invaliditätsgrad 73 %) zu (Verfügung vom 31. Mai 2016).
B.
Die dagegen von A._ erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. November 2016 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm auch für den Zeitraum vom 1. November 2007 bis zum 31. Dezember 2012 eine ganze Rente zuzusprechen.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Gleiches gilt für die konkrete Beweiswürdigung (Urteil 9C_204/2009 vom 6. Juli 2009 E. 4.1, nicht publ. in: <ref-ruling>, aber in: SVR 2009 IV Nr. 53 S. 164).
2.
Unbestritten ist der Anspruch des Beschwerdeführers auf eine ganze Rente vom 1. Oktober 2006 bis zum 31. Oktober 2007 sowie ab dem 1. Januar 2013. Streitig und zu prüfen ist einzig der Rentenanspruch für den Zeitraum vom 1. November 2007 bis zum 31. Dezember 2012 (Art. 107 Abs. 1 BGG).
3.
3.1. Für den streitbetroffenen Zeitraum stellte die Vorinstanz auf das seinerzeit von der Suva veranlasste Gutachten der MEDAS Oberaargau vom 16. Juli 2012 ab, wonach dem Beschwerdeführer angepasste Tätigkeiten mit einer Leistungseinschränkung von 20 % vollschichtig zumutbar seien. Gestützt darauf sowie unter Beizug der Durchschnittslöhne der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebungen (LSE) ermittelte das kantonale Gericht einen rentenausschliessenden Invaliditätsgrad. Im Rahmen seiner Beweiswürdigung legte es insbesondere dar, weshalb nicht auf die anders lautende retrospektive Einschätzung im Gutachten des ABI vom 23. November 2015 ("pragmatisch zusammengefasst" 60 % arbeitsfähig für angepasste Tätigkeiten) abzustellen sei.
3.2. Der Beschwerdeführer bestreitet, in der Phase zwischen 2007 und 2012 für angepasste Tätigkeit arbeitsfähig gewesen zu sein. Es sei weder 2007 noch 2013 eine Veränderung seines Gesundheitszustandes eingetreten. Vielmehr sei er, seit rund 2007 zum Gehen auf einen Stock angewiesen, durchgehend bei schlechter Gesundheit gewesen. Die anders lautenden Ausführungen im angefochtenen Entscheid seien Resultat einer willkürlichen Beweiswürdigung. Zur Begründung führt er weiter an, die retrospektive Annahme einer vollständigen Invalidität mit zwischenzeitlicher rentenausschliessender Arbeitsfähigkeit sei "absurd und rechtlich nicht haltbar". Die medizinischen Einschätzungen, auf welche sich das kantonale Gericht gestützt habe - namentlich auch jene der Gutachter der MEDAS Oberaargau sowie des ABI - würden sich widersprechen und stellten letztlich lediglich Spekulationen über seine Arbeitsfähigkeit dar. Schliesslich rügt der Beschwerdeführer das dem Einkommensvergleich zugrunde gelegte Valideneinkommen als zu tief.
4.
4.1. Die Kritik des Beschwerdeführers an der vorinstanzlichen Beweiswürdigung vermag - soweit sie nicht ohnehin als appellatorisch ausser Acht bleiben muss - weder Willkür (vgl. dazu <ref-ruling> E. 2.1 S. 18 f. mit Hinweisen) noch sonst eine Bundesrechtsverletzung darzutun. Die Vorinstanz stützte ihren Schluss, der Beschwerdeführer sei für den Zeitraum vom Juli 2007 bis Dezember 2012 zu 80 % arbeitsfähig gewesen, sowohl auf das Gutachten der MEDAS Oberaargau vom 16. Juli 2012 (vgl. E. 3.1 hievor) wie auch auf die übereinstimmenden Einschätzungen des Regionalen Ärztlichen Dienstes (RAD; Stellungnahme vom 7. Dezember 2015) und der Kreisärzte (Untersuchungsberichte vom 7. April 2007 und vom 22. Oktober 2009). Auf diese massgeblichen vorinstanzlichen Erwägungen geht der Beschwerdeführer nicht ein. Seine Kritik beschränkt sich vielmehr auf die Darlegung seiner eigenen Sicht der gesundheitlichen Verhältnisse, was nicht genügt.
4.2. Nichts zu seinen Gunsten abzuleiten vermag der Beschwerdeführer aus dem Verweis auf seine grosse Anzahl an Arztbesuchen, kann daraus doch offenkundig nicht ohne Weiteres auf eine Arbeitsunfähigkeit geschlossen werden. Auch der Einwand, die Suva habe durchgehend Taggelder bezahlt, verfängt nicht. Entscheide über UV-Taggelder präjudizieren den Rentenentscheid der Invalidenversicherung nicht (vgl. Urteil 9C_48/2015 vom 1. Juli 2015 E. 3.3.3 mit Hinweis auf <ref-ruling> E. 1c S. 283 f.).
5.
In Bezug auf das als zu tief gerügte Valideneinkommen hat die Vorinstanz zu Recht darauf hingewiesen, dass für dessen Ermittlung in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft werde, da erfahrungsgemäss die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Richtig ist auch, dass Ausnahmen von diesem Erfahrungssatz mit überwiegender Wahrscheinlichkeit erstellt sein müssten (vgl. zum Ganzen <ref-ruling> E. 4.3.1 S. 224 mit Hinweisen). Das kantonale Gericht führte weiter aus, eine solche Ausnahme liege vor, weil der Konkurs über die B._ AG am 5. Januar 2004 nicht infolge von gesundheitlichen Gründen des Versicherten eröffnet worden sei. Diese Feststellung sowie der Schluss, es sei deshalb nicht überwiegend wahrscheinlich, dass der Beschwerdeführer die B._ AG ohne Gesundheitsschaden immer noch betreiben würde, sind nicht bundesrechtswidrig. Dies gilt umso weniger, als der Beschwerdeführer explizit einräumt, seine ehemalige Arbeitgeberin sei wegen einer Mehrwertsteuerforderung per 2004 in Konkurs geraten. Damit erübrigen sich zum Vornherein jegliche Weiterungen zum Einwand, die Vorinstanz hätte zur Ermittlung des Valideneinkommens nicht auf Tabellenlöhne der LSE abstellen dürfen und stattdessen die konkreten Durchschnittseinkommen aus den Jahren 1997 bis 2001 heranziehen müssen. Unbehelflich ist die Rüge, die Schwankungen der konkret aus den LSE herangezogenen Zahlen im Zeitraum zwischen 2006 und 2013 seien "komisch" und "mehr als zweifelhaft". Der Beschwerdeführer setzt sich nicht ansatzweise mit den diesbezüglich massgebenden Ausführungen in Erwägung 4.3 des angefochtenen Entscheids auseinander, womit er seiner Begründungspflicht nicht nachkommt (Art. 42 Abs. 1 und 2 BGG). Es erübrigen sich Weiterungen dazu.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Juni 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Williner