Sachverhalt:
A.
Mit zwei Verfügungen vom 21. August 2012 sprach die IV-Stelle des Kantons Aargau dem 1968 geborenen A._ ab 1. April 2004 eine bis 31. März 2005 befristete ganze Invalidenrente zu. Das Versicherungsgericht des Kantons Aargau hiess die von A._ hiegegen erhobene Beschwerde, soweit es darauf eintrat, mit Entscheid vom 18. April 2013 im Verfahren VBE.2012.556 teilweise gut, hob die Verfügungen vom 21. August 2012, soweit auf Verneinung eines Rentenanspruchs ab 1. April 2005 lautend, auf und wies die Sache zur weiteren Abklärung und zur neuen Verfügung an die Verwaltung zurück. Es sprach dem anwaltlich vertretenen Versicherten für das Beschwerdeverfahren zu Lasten der IV-Stelle eine Parteientschädigung von Fr. 1900.- (inkl. MwSt) zu. Nach ergänzenden Abklärungen und weiteren, hier nicht interessierenden Beschwerdeverfahren, sprach die IV-Stelle A._ mit Verfügung vom 9. Februar 2016 ab 1. April 2004 eine ganze und ab 1. August 2005 eine halbe Invalidenrente zu.
B.
A._ liess gegen die Verfügung vom 9. Februar 2016 Beschwerde erheben (vorinstanzliches Verfahren VBE.2016.168). Er legte in der Folge eine Auszahlungsverfügung der IV-Stelle vom 8. April 2016 auf, welche die Verfügung vom 9. Februar 2016 ersetzte. Am 12. April 2016 erliess die IV-Stelle weitere Auszahlungsverfügungen. A._ erhob gegen die Verfügungen vom 8. und 12. April 2016 ebenfalls Beschwerde (vorinstanzliches Verfahren VBE.2016.282). Das Versicherungsgericht vereinigte die beiden Verfahren. Mit Entscheid vom 9. Dezember 2016 hiess es die Beschwerden teilweise gut. Es änderte die Verfügungen vom 9. Februar, 8. und 12. April 2016 dahingehend ab, dass der Versicherte ab 1. August 2005 Anspruch auf eine Dreiviertelsrente habe. Zudem hob es die besagten Verfügungen, soweit die Höhe des konkreten Rentenbetrages und der Rentennachzahlung betreffend, auf und wies die Sache zur Neuberechnung an die Verwaltung zurück. Das Gericht sprach A._ für die vereinigten Verfahren eine Parteientschädigung von Fr. 3150.- (inklusive Spesenpauschale und MwSt) zu.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung der Entscheide vom 9. Dezember 2016 Ziff. 4 und vom 18. April 2013 Ziff. 3 seien ihm für die Verfahren VBE.2016.168, VBE.2016.282 und VBE.2012.556 entsprechend den damals aufgelegten anwaltlichen Honorarnoten Parteientschädigungen von Fr. 4563.20, Fr. 6821.05 und Fr. 3003.15 (je inklusive MwSt und Auslagen) zuzusprechen; eventuell seien die Entscheide vom 9. Dezember 2016 Ziff. 4 und vom 18. April 2013 Ziff. 3 aufzuheben und sei die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen.
Mit Eingaben vom 17. Februar und 13. März 2017 legt A._ zwischenzeitlich ergangene Verfügungen der IV-Stelle auf.
Während die IV-Stelle auf eigene Anträge verzichtet, schliesst das Versicherungsgericht des Kantons Aargau auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
Die Voraussetzungen für das Eintreten auf die Beschwerde sind erfüllt. Das gilt auch, soweit sich diese gegen den Rückweisungsentscheid vom 18. April 2013, welcher einen Zwischenentscheid im Sinne von <ref-law> darstellt (<ref-ruling> E. 4.2 S. 481), richtet (vgl. <ref-law>).
3.
Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Echte Noven, d.h. Tatsachen und Beweismittel, die erst nach dem angefochtenen Entscheid entstanden sind, sind gänzlich ausgeschlossen (vgl. statt vieler: Urteil 9C_553/2015 vom 13. Juni 2016 E. 1.3 mit Hinweis, nicht publ. in: <ref-ruling>, aber in: SVR 2016 BVG Nr. 41 S. 169). Die nachträglich aufgelegten Verfügungen können daher, wie auch die darauf bezogenen Vorbringen des Beschwerdeführers, nicht berücksichtigt werden.
4.
Streitig ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es in den Entscheiden vom 9. Dezember 2016 und 18. April 2013 die dem Beschwerdeführer zustehenden Parteientschädigungen für die Verfahren VBE.2016.168, VBE.2016.282 und VBE.2012.556 auf Fr. 3150.- und Fr. 1900.- statt auf Fr. 4563.20, Fr. 6821.05 und Fr. 3003.15 festsetzte.
4.1. Nach <ref-law> hat die obsiegende Beschwerde führende Person Anspruch auf Ersatz der Parteikosten; diese werden vom Versicherungsgericht festgesetzt und ohne Rücksicht auf den Streitwert nach der Bedeutung der Streitsache und nach der Schwierigkeit des Prozesses bemessen. Als Bemessungskriterien für die Höhe des Parteikostenersatzes nennt <ref-law> zwar lediglich die Bedeutung der Streitsache und die Schwierigkeit des Prozesses. Da indessen der zeitliche Aufwand der Rechtsvertretung regelmässig von der Schwierigkeit des Prozesses (mit) bestimmt wird, ist er auch ohne ausdrückliche Nennung bedeutsam für die Höhe der Parteientschädigung (Urteil 9C_310/2016 vom 7. Juni 2016 E. 3.1 mit Hinweis).
4.2. Das Bundesgericht prüft frei, ob der vorinstanzliche Entscheid hinsichtlich der Bemessung der Parteientschädigung den in <ref-law> statuierten bundesrechtlichen Anforderungen genügt. Weil die Bemessung der Parteientschädigung für das kantonale Verfahren im Übrigen dem kantonalen Recht überlassen ist (<ref-law>), prüft das Bundesgericht darüber hinaus nur, ob die Höhe der Parteientschädigung vor dem Willkürverbot (<ref-law>) standhält (Urteile 8C_136/2016 vom 11. August 2016 E. 2.3 und 9C_338/2010 vom 26. August 2010 E. 3.2 mit Hinweis; letzteres in: SVR 2011 AHV Nr. 7 S. 23).
4.3. Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint. Willkür in der Rechtsanwendung liegt nur vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dabei ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 1.2 S. 308 f. mit Hinweisen).
5.
Wie ein Rechtsanwalt für die Vertretung und Verbeiständung vor den aargauischen Gerichts- und Verwaltungsbehörden zu entschädigen ist, hat der Grosse Rat des Kantons Aargau im Dekret über die Entschädigung der Anwälte des Kantons Aargau (Anwaltstarif; AnwT/AG) näher geregelt. Danach sind sie in Invalidenversicherungsstreitigkeiten vor Versicherungsgericht nach dem mutmasslichen Aufwand, nach der Bedeutung und der Schwierigkeit des Falles zu entschädigen (§ 8a Abs. 3 in Verbindung mit § 3 Abs. 1 lit. b AnwT/AG), was dadurch geschieht, dass von einer Instruktion, Aktenstudium, rechtliche Abklärungen, Korrespondenz und Telefongespräche sowie eine Rechtsschrift und die Teilnahme an einer behördlichen Verhandlung umschliessenden Grundentschädigung auszugehen ist (§ 8a Abs. 3 in Verbindung mit § 6 Abs. 1 AnwT/AG). Diese ist mit verschiedenen, in § 6 ff. AnwT/AG näher umschriebenen Zu- und Abschlägen zu versehen, die dem Einzelfall besser Rechnung tragen sollen. Die Entschädigung bewegt sich gemäss § 8a Abs. 3 in Verbindung mit § 3 Abs. 1 lit. b AnwT/AG zwischen Fr. 1210.- und Fr. 14'740.-.
5.1. Das Versicherungsgericht des Kantons Aargau hat diese Bestimmungen in einem an den Präsidenten des Aargauischen Anwaltsverbandes gerichteten Schreiben vom 23. Mai 2011 für bei ihm strittige Fällen näher konkretisiert (wortwörtliche Wiedergabe in den Urteilen 8C_63/2014 vom 12. Mai 2014 E. 6.1 und 9C_622/2013 vom 29. Januar 2014 E. 3.1, letzteres in: SVR 2014 EL Nr. 8 S. 21). Danach wird bei Beschwerdefahren aus dem Bereich IVG (Rentenfälle) die Pauschale ausgehend von einer Grundentschädigung in der Höhe von Fr. 2500.- (inklusive Auslagenpauschale und MwSt) festgelegt. Hievon erfolgt ein Abschlag gemäss § 6 AnwT/AG von 10 %, falls das Verfahren nicht vollständig durchgeführt wurde, konkret, wenn keine Verhandlung erfolgt. Zusätzliche Rechtsschriften und Verhandlungen, sofern nötig, führen zu Zuschlägen von 5 - 30 %. Im Durchschnittsfall wird nicht von einem ausserordentlichen oder einem geringen Aufwand ausgegangen (§ 7 AnwT/AG). Ein Abzug für Rechtsmittelverfahren von 25 % gemäss § 8 AnwT/AG erfolgt, wenn der Anwalt den Klienten bereits im Verwaltungsverfahren vertrat und entsprechend Aktenkenntnisse hatte. Sind Einsprache bzw. Einwendungen praktisch identisch mit der Beschwerde, wird ein Abzug von 50 % vorgenommen, weil durch die Beschwerdeführung nur ein geringer Aufwand entstand. Zum Honorar hinzu kommt eine Spesenpauschale von 3 % sowie die MwSt.
5.2. Das Bundesgericht hat diese Pauschalisierung als mit dem übergeordneten Recht vereinbar erklärt, zugleich aber ausgeführt, dies entbinde die rechtsanwendende Behörde nicht, im Einzellfall zu prüfen, ob damit die effektiv entstandenen und von der Vertretung objektiv gerechtfertigten Kosten und Aufwendungen, wenn auch nicht vollumfänglich, so doch noch in angemessener Weise, abgegolten werden (Urteil 8C_63/2014 vom 12. Mai 2014 E. 5.3, 6.2 und 6.3). Von einer Prüfung der Frage, ob ein mit einer Kostennote ausgewiesener Zeitaufwand notwendig war, darf dabei indessen solange Abstand genommen werden, als mit dem pauschalisierten Vorgehen - zumindest in einem Verfahren wie dem vorliegenden, bei dem der Beschwerdeführer um unentgeltlichen Rechtsbeistand ersucht hatte (Näheres dazu siehe: Urteil 9C_338/2010 vom 26. August 2010 E. 5.2, in: SVR 2011 AHV Nr. 7 S. 23) - der Mindestansatz von rund Fr. 180.- (zuzüglich MwSt) auch im Falle einer Anerkennung des gesamten ausgewiesenen Zeitaufwandes eingehalten wird (Urteil 5A_157/2015 vom 12. November 2015 E. 3.3.2). Soll hingegen eine Entschädigung zugesprochen werden, welche - gemessen am geltend gemachten, noch nicht auf seine effektive Notwendigkeit hin überprüften Zeitaufwand - im Ergebnis zu einem Stundenansatz von deutlich unter Fr. 180.- führen würde, so besteht aus verfassungsmässiger Sicht kein Spielraum mehr für eine abstrahierende Bemessungsweise. Klar ist, dass der zur gehörigen Mandatsführung erforderliche, allein zu entschädigende Zeitaufwand sich erst dann konkret bestimmen lässt, wenn dieser nach einzelnen Aufwandpositionen wie etwa "Verfassung der Beschwerdeschrift" unterscheidet. Hat der Rechtsvertreter hierzu eine Honorarnote eingereicht, welche näher nach solchen Aufwandpositionen unterscheidet, wird die Behörde kurz aber bestimmt zu erläutern haben, welche der in der Honorarnote aufgeführten Aufwandspositionen inwiefern ungerechtfertigt sind und daher ausser Betracht bleiben müssen (Urteil 5A_157/2015 vom 12. November 2015 E. 3.3.3).
6.
Im Rückweisungsentscheid VBE.2012.556 vom 18. April 2013 sprach die Vorinstanz dem Beschwerdeführer eine Parteientschädigung in der Höhe von Fr. 1900.- zu. Auf die vom Beschwerdeführer vorgängig eingereichte Honorarnote von 10.45 Stunden à Fr. 250.- zuzüglich Aufwendungen in der Höhe von Fr. 168.20 ging sie mit keinem Wort ein. Ebenso wenig finden sich in diesem Entscheid Hinweise auf die dabei angewandten Rechtsbestimmungen. Erläuterungen dazu, wie sie die Pauschale bemass, d.h. von welchem Ausgangswert sie ausging und welche im AnwT/AG vorgesehene Zu- und Abschläge sie alsdann berücksichtigte, fehlen ebenso.
Der Beschwerdeführer erblickt darin eine Verletzung des Anspruchs auf rechtliches Gehör. Wegen des formellen Charakters dieser Rüge wird sie vorab behandelt.
6.1. Zwar ist nach dem in E. 5.2 Ausgeführten der Vorinstanz zuzugestehen, dass sie bei der Festlegung der Pauschalentschädigung nicht jede Abweichung von einer eingereichten Honorarnote näher zu begründen hat. Ungeachtet dessen wird sie indessen gestützt auf die allgemein geltende Begründungspflicht auch in solchen Fällen zumindest kurz darzulegen haben, wie sie die Pauschale festgelegt hat. Dies hat das kantonale Gericht im Rückweisungsentscheid unterlassen.
6.2. Es kommt hinzu, dass der Rechtsvertreter in der Honorarnote einen Zeitaufwand von 10.45 Stunden geltend gemacht hat, was auf der Basis der vorinstanzlich effektiv zugesprochenen Entschädigung von Fr. 1900.- inklusive MwSt und Auslagenpauschale bzw. Fr. 1691.- exklusive MwSt und Auslagenpauschale zu einem Stundenansatz von Fr. 161.80 führt, der damit deutlich unter dem Mindeststundenansatz von Fr. 180.- liegt, womit der rein abstrahierenden Bemessungsweise die Grundlage entzogen ist. Ob in Fällen wie dem vorliegenden, in welchem der ausserkantonale Rechtsvertreter zwar in der von sich aus eingereichten Honorarnote den geltend gemachten Zeitaufwand gesamthaft ausweist, jedoch nicht nach einzelnen Aufwandpositionen unterscheidet, vom kantonalen Versicherungsgericht vor der definitven Entschädigungsfestsetzung noch die Gelegenheit gewährt werden muss, dies nachzuholen, braucht vorliegend nicht abschliessend beantwortet zu werden (diese Frage verneinend bei innerkantonaler anwaltlicher Rechtsvertretung unter Verweis auf das in E. 5.1 hiervor erwähnte Schreiben des Versicherungsgerichts des Kantons Aargau an den Präsidenten des Aargauischen Anwaltsverbands vom 23. Mai 2011: Urteil 8C_63/2014 vom 12. Mai 2014 E. 5.2; dieses Schreiben scheint vom kantonalen Gericht bis dato weder im kantonalen Amtsblatt, noch auf der Homepage, noch sonstwie der Allgemeinheit zugänglich gemacht worden zu sein; siehe auch Urteil 5A_380/2014 vom 30. September 2014 E. 3.1). Denn so oder anders hätte das Gericht zumindest kurz erklären müssen, weshalb der frankenmässig bezifferten, einen zeitlichen Gesamtaufwand nennenden Parteiforderung nicht entsprochen werden kann, weshalb der durch die zugesprochene Pauschalentschädigung effektiv entschädigte Zeitaufwand als ausreichend für die notwendige Prozessvertretung betrachtet wird.
7.
Für die vereinigten Verfahren VBE.2016.168 und VBE.2016.282 erläuterte das kantonale Gericht demgegenüber im Entscheid vom 9. Dezember 2016 näher die zugesprochene Pauschalentschädigung: Ausgehend von einer bei IVG-Rentenstreitigkeiten üblichen Grundentschädigung in der Höhe von Fr. 2500.- (inklusive 3 % Auslagenpauschale und MWSt) erhöhte es diese in Anwendung von § 6 Abs. 3 AnwT/AG wegen zusätzlicher Rechtsschriften um 20 % und wegen aussergewöhnlichen Umfangs um weitere 25 %. Aufgrund bereits vorbestandener Rechtsvertretung folgte hernach gestützt auf § 8 AnwT/AG eine Kürzung von 25 %. Spesenpauschal- und mehrwertsteuerbereinigt resultierte daraus aufgerundet eine Entschädigung von Fr. 3150.-. Die Voraussetzungen für einen ausserordentlichen Zuschlag gemäss § 7 Abs. 1 AnwT/AG von bis zu 50 % wegen ausserordentlicher Aufwendungen erachtete das kantonale Gericht in Kenntnis der vom Beschwerdeführer eingereichten Honorarnoten für das Verfahren VBE.2016.168 vom 8. April 2016 und das Verfahren VBE.2016.282 vom 8. Dezember 2016 für nicht erfüllt. Dabei erwog es, solche überdurchschnittlichen Aufwendungen hätten durch den Rechtsvertreter substanziiert dargelegt werden müssen, das reine Auflisten von verschiedenen Aufwandposten sei unzureichend.
Der Beschwerdeführer bemängelt, anders als im Zwischenentscheidverfahren, habe er nunmehr auf der Honorarnote vom 8. Dezember 2016 Anmerkungen mit dem Titel "Begründung für die Höhe des Aufwandes" angebracht; darauf hätte das kantonale Gericht näher eingehen müssen; indem es dies unterlassen habe, liege auch in diesem Verfahren eine Verletzung des Anspruchs auf rechtliches Gehör vor.
7.1. Ausgehend vom bei der Willkürprüfung der Parteientschädigung zu Grunde zu legenden Mindeststundenansatz von Fr. 180.- entspricht die zugesprochene Entschädigung knapp 15 1⁄2 vergüteten Honorarstunden. Geltend gemacht hat der Beschwerdeführer hingegen einen Zeitaufwand von insgesamt 41.1 Stunden (24.5 und 16.6), was ein Abweichen vom auf der Grundlage von Pauschalen bestimmten Betrag nach sich ziehen kann (E. 5.2 hiervor).
7.2.
Vorausgesetzt, das kantonale Gericht wäre vor dem Entscheid über die Entschädigungshöhe nicht ohnehin gehalten gewesen, den Beschwerdeführer zunächst aufzufordern, das geltend Gemachte näher zu begründen (E. 6.2 hiervor), ergibt sich das Folgende:
In der Honorarnote vom 8. Dezember 2016 hatte der Rechtsvertreter des Beschwerdeführers wie bereits angesprochen verschiedene Punkte hervorgehoben, welche die Höhe des geltend gemachten Aufwandes begründen sollen. Zwar sind diese lediglich stichwortartig vorgetragen und teils eher allgemein gehalten, indem er etwa "sehr umfangreiche Akten, viele medizinische Unterlagen", "extrem langer, weit zurückliegender Zeitraum (...) ", "komplexer Sachverhalt bezüglich a) Valideneinkommen b) Invalideneinkommen (...) " oder "diverse Mängel bei der Berechnung und Auszahlung von Verzugszinsen" als Grund für den ausserordentlichen Aufwand anführte. Auf der anderen Seite fehlt es bei der Honorarnote an einer verständlichen Zusammenfassung einzelner Aufwandpositionen. Beigelegt ist einzig ein in chronologischer Abfolge geführtes Kostenblatt mit stichwortartigen Hinweisen zu der dabei erfassten Arbeit, wie z.B. zahlreich "AS, E Mail a. RS/Kl", ohne dass dies dem Gericht ohne weiteres ein näheres Aufschlüsseln von aus seiner Sicht notwendigen oder nicht mehr durch die Entschädigung erfassten Arbeiten erlauben würde. Insoweit musste sich die Vorinstanz mit den vorgetragenen Gründen, die für eine ausserordentliche Entschädigung sprechen sollen, denn auch nicht im Detail auseinandersetzen. Indem sie sich indessen dazu gar nicht geäussert hat, verletzt sie auch in ihrem zweiten Entscheid die Begründungspflicht und damit den Anspruch des Beschwerdeführers auf rechtliches Gehör.
8.
Mit Blick auf die festgestellten wiederholten Verletzungen des Anspruchs auf rechtliches Gehör ist die Angelegenheit dem Eventualantrag des Beschwerdeführers folgend an die Vorinstanz zurückzuweisen, damit sie über die Höhe der ihm zustehenden Entschädigungen neu entscheide.
9.
Dem Ausgang des Verfahrens entsprechend wären eigentlich die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (<ref-law>). Mit Blick auf die festgestellten Verfahrensverletzung der Vorinstanz ist aber von einer Kostenauflage abzusehen (<ref-law>). Indessen hat die IV-Stelle den Beschwerdeführer für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. ZIff. 3 des Entscheids vom 18. April 2013 und Ziff. 4 des Entscheids vom 9. Dezember 2016, jeweils des Versicherungsgerichts des Kantons Aargau, werden aufgehoben. Die Sache wird an das kantonale Gericht zurückgewiesen, damit es über die Höhe der Parteientschädigung für den Beschwerdeführer neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Oktober 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Grünvogel