Sachverhalt: A. Der 1966 geborene S._ meldete sich am 30. November 2002 unter Hinweis auf Bandscheibenprobleme bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht verneinte die IV-Stelle des Kantons Aargau bei einem Invaliditätsgrad von 2 % einen Rentenanspruch (Verfügung vom 5. März 2004). Sie lehnte zudem den Anspruch auf berufliche Massnahmen verfügungsweise am 8. März 2004 ab. Mit Einspracheentscheid vom 21. April 2004 hielt die IV-Stelle am fehlenden Anspruch auf Rentenleistungen fest, was das Versicherungsgericht des Kantons Aargau mit Entscheid vom 17. August 2004 bestätigte. Nachdem die IV-Stelle auf ein Gesuch um Rente und Umschulung mit Verfügung vom 16. Dezember 2005 nicht eingetreten war, liess S._ am 9. Juli 2007 erneut ein Rentenbegehren einreichen. Gestützt auf ein polydisziplinäres Gutachten des Instituts X._ vom 21. April 2009 verneinte die IV Stelle abermals einen Anspruch auf Rente (Verfügung vom 23. Februar 2010). Die hiegegen geführte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. September 2010 ab. Das Bundesgericht hiess die dagegen erhobene Beschwerde in dem Sinne gut, dass es die Sache an die Vorinstanz zur Durchführung einer mündlichen öffentlichen Verhandlung und anschliessender Neubeurteilung zurückwies (Urteil 8C_950/2010 vom 28. Januar 2011). B. Mit Entscheid vom 27. April 2011 wies das Versicherungsgericht des Kantons Aargau die Beschwerde nach Durchführung einer öffentlichen Verhandlung erneut ab. C. S._ lässt hiegegen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen (einschliesslich berufliche Massnahmen) nach Massgabe eines Invaliditätsgrads von mindestens 50 % zuzüglich eines Verzugszinses von 5 % zuzusprechen. Eventualiter seien weitere Abklärungen vorzunehmen. Zudem wird die Befragung des Versicherten beantragt und um unentgeltliche Rechtspflege ersucht. Ferner sei die IV-Stelle zu verpflichten, die Honorarkosten für das Gutachten des Dr. med. R._, Rheumatologie FMH, vom 18. Dezember 2006 in der Höhe von Fr. 3000.- zu übernehmen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, enthält sich die Vorinstanz einer ausdrücklichen Antragstellung und das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet.