Sachverhalt:
A. Der 1966 geborene S._ meldete sich am 30. November 2002 unter Hinweis auf Bandscheibenprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht verneinte die IV-Stelle des Kantons Aargau bei einem Invaliditätsgrad von 2% einen Rentenanspruch (Verfügung vom 5. März 2004). Am 8. März 2004 lehnte sie zudem den Anspruch auf berufliche Massnahmen ab. Mit Einspracheentscheid vom 21. April 2004 hielt die IV-Stelle am fehlenden Anspruch auf Rentenleistungen fest, was das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. August 2004 bestätigte. Nachdem die IV-Stelle auf ein Gesuch um Rente und Umschulung verfügungsweise am 16. Dezember 2005 nicht eingetreten war, liess S._ am 9. Juli 2007 erneut ein Rentenbegehren einreichen. Gestützt auf ein polydisziplinäres Gutachten des Instituts X._ vom 21. April 2009 verneinte die IV-Stelle abermals einen Anspruch auf Rente (Verfügung vom 23. Februar 2010).
B. Die hiegegen geführte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. September 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen (einschliesslich berufliche Massnahmen) nach Massgabe eines Invaliditätsgrads von mindestens 50 % zuzusprechen. Eventualiter seien weitere Abklärungen vorzunehmen. Zudem sei eine öffentliche Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Publikums- und Presseanwesenheit durchzuführen. Weiter sei die IV-Stelle zu verpflichten, die Honorarkosten für das Gutachten des Dr. med. R._, Rheumatologie FMH, in der Höhe von Fr. 3000.- zu übernehmen. Ferner wird um unentgeltliche Rechtspflege ersucht.
IV-Stelle und Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Im Übrigen wendet es das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Es prüft allerdings - unter Beachtung der allgemeinen Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden Fragen zu untersuchen, auch wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 1.4.1 S. 254).
2. In prozessualer Hinsicht rügt der Beschwerdeführer eine Verletzung von Art. 6 Ziff. 1 EMRK, da die Vorinstanz seinem Antrag auf Durchführung einer öffentlichen Verhandlung nicht stattgegeben habe.
2.1 Nach der Rechtsprechung hat das kantonale Gericht, welchem es primär obliegt, die Öffentlichkeit einer Verhandlung zu gewährleisten (<ref-ruling> E. 3 S. 54), bei Vorliegen eines klaren und unmissverständlichen Parteiantrages im Sozialversicherungsprozess grundsätzlich eine öffentliche Verhandlung durchführen (<ref-ruling> E. 3a und b S. 55 f.). Von einer ausdrücklich beantragten öffentlichen Verhandlung kann es absehen, wenn der diesbezügliche Antrag der Partei als schikanös erscheint oder auf eine Verzögerungstaktik schliessen lässt und damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwiderläuft oder sogar rechtsmissbräuchlich ist. Gleiches gilt, wenn sich ohne öffentliche Verhandlung mit hinreichender Zuverlässigkeit erkennen lässt, dass eine Beschwerde offensichtlich unbegründet oder unzulässig ist (<ref-ruling> E. 3b/cc und b/dd S. 56). Als weiteres Motiv für die Verweigerung einer beantragten öffentlichen Verhandlung fällt die hohe Technizität der zur Diskussion stehenden Materie in Betracht, wobei darunter etwa rein rechnerische, versicherungsmathematische oder buchhalterische Probleme zu verstehen sind, nicht aber andere dem Sozialversicherungsprozess inhärente Fragestellungen wie beispielsweise die Würdigung medizinischer Gutachten. Das Bundesgericht hat in <ref-ruling> entschieden, dass in Verfahren mit hauptsächlich medizinischer Fragestellung eine bessere Eignung des schriftlichen Verfahrens nicht erkennbar ist, auch wenn Gegenstand in einer allfälligen Verhandlung einzig die Auseinandersetzung mit den vorhandenen Stellungnahmen von Ärztinnen und Ärzten zu Gesundheitsschaden und Grad der Arbeitsunfähigkeit bildet. Es handelt sich bei der Würdigung solcher medizinischer Berichte und der Beurteilung der Beweiskraft einander widersprechender ärztlicher Aussagen um eine auf dem Gebiet des Sozialversicherungsrechts alltägliche und damit nicht um eine "hochtechnische" Thematik im Sinne der Rechtsprechung. (<ref-ruling> E. 3.2 S. 283 f.; vgl. auch Urteile 8C_801/2010 vom 15. Dezember 2010 E. 2 und 8C_495/2010 vom 16. Dezember 2010 E. 2.2). Schliesslich kann das kantonale Gericht auf die Durchführung einer öffentlichen Verhandlung verzichten, wenn es auch ohne eine solche allein auf Grund der Akten zum Schluss gelangt, dass dem materiellen Begehren der die Verhandlung beantragenden Partei zu entsprechen ist (<ref-ruling> E. 1 S. 280 f.; <ref-ruling> E. 3b/ee und b/ff S. 57 f.; Urteil 9C_1034/2009 vom 8. Juni 2010 E. 2.2).
2.2 Das vorliegende, eine Rente der Invalidenversicherung betreffende Verfahren stellt eine Streitigkeit über einen zivilrechtlichen Anspruch im Sinne von Art. 6 Ziff. 1 EMRK dar (<ref-ruling> E. 2a S. 501, <ref-ruling> E. 2a S. 50 mit Hinweisen; SVR 2006 IV Nr. 1 E. 3.3 [I 573/03]). Auch liegt unbestrittenermassen ein rechtzeitig gestellter unmissverständlicher Antrag auf Durchführung einer öffentlichen Verhandlung vor (vgl. <ref-ruling> E. 3b/bb S. 56 und Urteil 9C_1034/2009 vom 8. Juni 2010, E. 2.3).
2.3 Die Vorinstanz hat mit der Begründung, es liesse sich aus dem Gesamtzusammenhang schliessen, dass es dem Beschwerdeführer einzig um die Beweisabnahme im Sinne einer Parteibefragung gehe, jedoch nicht um eine Verhandlung mit Publikums- und Presseanwesenheit, wobei von einer Parteibefragung - in antizipierter Beweiswürdigung - keine neuen Erkenntnisse zu erwarten seien, von der Durchführung einer öffentlichen Verhandlung abgesehen.
2.4 Die Voraussetzungen für eine Ablehnung der vom Versicherten in der vorinstanzlichen Beschwerde ausdrücklich beantragten Durchführung einer öffentlichen Verhandlung im Sinn von Art. 6 Ziff. 1 EMRK sind im Lichte der dargelegten Rechtsprechung nicht gegeben. Es sind keine triftigen Gründe ersichtlich, die gegen eine öffentliche Verhandlung sprechen. Weder ist der Antrag schikanös, noch läuft er dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwider. Sodann kann das Rechtsmittel nicht als offensichtlich unbegründet oder unzulässig bezeichnet werden, was denn auch das kantonale Versicherungsgericht nicht angenommen hat. Von hoher Technizität der sich stellenden Fragen kann ebenfalls nicht gesprochen werden: Streitig ist, ob sich der gesundheitliche Zustand in anspruchsbeeinflussendem Mass verändert hat. Damit liegt ein Streit um den Arbeitsunfähigkeitsgrad vor, der keine Ausnahme von der Pflicht, eine öffentliche Verhandlung durchzuführen, begründet. Schliesslich war dem materiellen Rechtsbegehren des Versicherten allein aufgrund der Akten nicht ohne weiteres zu entsprechen.
2.5 Der Verzicht des kantonalen Gerichts auf eine mündliche öffentliche Verhandlung lässt sich demnach nicht mit der in Art. 6 Ziff. 1 EMRK gewährleisteten Verfahrensgarantie vereinbaren. Es ist daher unumgänglich, die Sache an die Vorinstanz zurückzuweisen, damit diese den Verfahrensmangel behebt und die vom Beschwerdeführer verlangte öffentliche Verhandlung durchführt. Hernach wird sie über die Beschwerde materiell neu befinden, weshalb auf die diesbezüglichen Ausführungen des Beschwerdeführers nicht weiter einzugehen ist.
3. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Der Antrag auf Gewährung der unentgeltlichen Rechtspflege ist deshalb gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Aargau vom 21. September 2010 aufgehoben und Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung vom 23. Februar 2010 neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Januar 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla