Sachverhalt: A. A.a. Der 1963 geborene und zuletzt als selbständiger Bauunternehmer tätig gewesene A._ hatte 1987 einen Autounfall mit Polytrauma erlitten. Im Juli 2007 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau tätigte verschiedene Abklärungen in erwerblicher und medizinischer Hinsicht, namentlich zog sie die Akten der Schweizerischen Unfallversicherungsanstalt (Suva) bei und veranlasste eine Abklärung in der Beruflichen Abklärungsstelle (Schlussbericht BEFAS vom 20. April 2009). Am 23. Februar 2011 verfügte die Verwaltung, A._ habe Anspruch auf eine befristete ganze Invalidenrente für den Zeitraum vom 1. Oktober 2006 bis zum 30. September 2007. Insbesondere gestützt auf ein zwischenzeitlich durch die Suva veranlasstes interdisziplinäres Gutachten der MEDAS Oberaargau (Expertise vom 16. Juli 2012) hiess das Versicherungsgericht des Kantons Aargau die von A._ gegen die Verfügung vom 23. Februar 2011 erhobene Beschwerde gut und wies die Sache an die IV-Stelle zu weiteren Abklärungen zurück (Entscheid vom 3. März 2014). A.b. Die IV-Stelle veranlasste daraufhin eine polydisziplinäre Begutachtung in der Ärztliches Begutachtungsinstitut GmbH (Expertise vom 23. November 2015) und sprach A._ nach durchgeführtem Vorbescheidverfahren eine ganze Rente vom 1. Oktober 2006 bis zum 31. Oktober 2007 (Invaliditätsgrad 100 %) sowie ab dem 1. Januar 2013 (Invaliditätsgrad 73 %) zu (Verfügung vom 31. Mai 2016). B. Die dagegen von A._ erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. November 2016 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm auch für den Zeitraum vom 1. November 2007 bis zum 31. Dezember 2012 eine ganze Rente zuzusprechen.