Sachverhalt:
A. Das Versicherungsgericht des Kantons Aargau hat mit Entscheid vom 20. März 2012 eine gegen die Verfügung der IV-Stelle des Kantons Aargau vom 3. Februar 2011 gerichtete Beschwerde abgewiesen und dabei dem unterliegenden Beschwerdeführer B._ Gerichtskosten in der Höhe von Fr. 800.- auferlegt.
B. Gegen die Kostenauflage führt B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, die Kostenziffer sei ganz aufzuheben. Eventualiter beantragt er eine maximal hälftige Kostenauflage.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Danach kann die Verletzung blossen kantonalen Rechts nicht selbstständig gerügt werden. Auch prüft das Bundesgericht die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht) nur insoweit, als eine solche Rüge vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1 S. 95).
2. Streitig und zu prüfen ist einzig, ob die Vorinstanz dem unterliegenden Beschwerdeführer zu Recht sämtliche Gerichtskosten in der Höhe von Fr. 800.- auferlegt hat.
3. Die Beschwerdeverfahren bei Streitigkeiten um die Bewilligung oder Verweigerung von IV-Leistungen sind gemäss <ref-law> vor dem kantonalen Versicherungsgericht kostenpflichtig. Die Kosten sind dabei nach dem Verfahrensaufwand und unabhängig vom Streitwert im Rahmen von Fr. 200.- bis Fr. 1'000.- festzulegen. Darüber hinaus finden sich im Bundesrecht keine weiteren Regelungen zu den Kostenfolgen in IV-rechtlichen Verfahren vor dem kantonalen Gericht, insbesondere enthält es keine Regelung für die Aufteilung der Verfahrenskosten. Diese richtet sich allein nach kantonalem Recht (Art. 61 Ingress ATSG; Urteil 9C_925/2011 vom 28. März 2012, E. 2.1 mit Hinweis). Das Gesetz über die Verwaltungsrechtspflege des Kantons Aargau (VRPG/AG) regelt die Kostenverteilung in § 31 Abs. 2. Demnach werden im Beschwerdeverfahren die Verfahrenskosten in der Regel nach Massgabe des Unterliegens und Obsiegens auf die Parteien verlegt; den Behörden werden Verfahrenskosten nur auferlegt, wenn sie schwerwiegende Verfahrensmängel begangen oder willkürlich entschieden haben.
4. Mit Blick auf die zulässigen Beschwerdegründe (E. 1 hiervor) ist einzig zu prüfen, ob die Vorinstanz § 31 Abs. 2 VRPG/AG willkürlich ausgelegt und angewendet hat.
4.1 Zwar lässt die Bestimmung die Kostenverteilung ausnahmsweise nach anderen Kriterien als dem Unterliegen und Obsiegen zu. Indessen kann nicht gesagt werden, die obsiegende Beschwerdegegnerin habe schwerwiegende Verfahrensmängel begangen oder willkürlich entschieden. Willkürlich entscheiden heisst, dass der Entscheid vom Ergebnis her willkürlich sein muss; ist hingegen lediglich die Begründung nicht nachvollziehbar, nicht aber das Ergebnis selbst, liegt kein willkürlicher Entscheid vor (vgl. <ref-ruling> E. 7.1 S. 51; <ref-ruling> E. 2.2.2 S. 318 f., je mit Hinweisen).
4.2 Anders als in <ref-law> sieht das VRPG/AG auch nicht ausdrücklich vor, dass ausnahmsweise auf Kosten verzichtet werden könne, wenn es die Umstände rechtfertigen, wie etwa wenn eine Beschwerde führende Person wahrscheinlich erst gar nicht Beschwerde geführt hätte, wenn bereits die Verfügung der Verwaltung so begründet worden wäre wie später der gerichtliche Entscheid.
4.3 Zusammengefasst erweist sich die vorinstanzliche Kostenauflage an den Beschwerdeführer nicht als willkürlich. Der angefochtene Kostenentscheid ist zu schützen.
5. Umständehalber wird letztinstanzlich auf die Erhebung von Gerichtskosten verzichtet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Juli 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Grünvogel