Sachverhalt: A. Der 1966 geborene S._ meldete sich am 30. November 2002 unter Hinweis auf Bandscheibenprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht verneinte die IV-Stelle des Kantons Aargau bei einem Invaliditätsgrad von 2% einen Rentenanspruch (Verfügung vom 5. März 2004). Am 8. März 2004 lehnte sie zudem den Anspruch auf berufliche Massnahmen ab. Mit Einspracheentscheid vom 21. April 2004 hielt die IV-Stelle am fehlenden Anspruch auf Rentenleistungen fest, was das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. August 2004 bestätigte. Nachdem die IV-Stelle auf ein Gesuch um Rente und Umschulung verfügungsweise am 16. Dezember 2005 nicht eingetreten war, liess S._ am 9. Juli 2007 erneut ein Rentenbegehren einreichen. Gestützt auf ein polydisziplinäres Gutachten des Instituts X._ vom 21. April 2009 verneinte die IV-Stelle abermals einen Anspruch auf Rente (Verfügung vom 23. Februar 2010). B. Die hiegegen geführte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. September 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen (einschliesslich berufliche Massnahmen) nach Massgabe eines Invaliditätsgrads von mindestens 50 % zuzusprechen. Eventualiter seien weitere Abklärungen vorzunehmen. Zudem sei eine öffentliche Gerichtsverhandlung nach Art. 6 Ziff. 1 EMRK mit Publikums- und Presseanwesenheit durchzuführen. Weiter sei die IV-Stelle zu verpflichten, die Honorarkosten für das Gutachten des Dr. med. R._, Rheumatologie FMH, in der Höhe von Fr. 3000.- zu übernehmen. Ferner wird um unentgeltliche Rechtspflege ersucht. IV-Stelle und Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.