Sachverhalt: A. Die 1954 geborene G._ meldete sich im November 2002 bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung eines Einsprache- und Beschwerdeverfahrens (Entscheid des Versicherungsgerichts des Kantons Aargau vom 14. Februar 2006) traf die IV-Stelle des Kantons Aargau weitere Abklärungen, bevor sie mit Vorbescheid vom 25. September 2007 die Abweisung des Leistungsbegehrens in Aussicht stellte. Dagegen liess G._ mit Schreiben vom 26. Oktober 2007 Einwände erheben. Das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege wies die IV-Stelle unter Verweis auf fehlende Bedürftigkeit mit Verfügung vom 29. Februar 2008 ab. B. In Gutheissung der dagegen erhobenen Beschwerde hob das Versicherungsgericht des Kantons Aargau mit Entscheid vom 14. Dezember 2010 die Verfügung vom 29. Februar 2008 auf, bewilligte der Versicherten die unentgeltliche Rechtspflege für das Vorbescheidverfahren und ernannte Rechtsanwalt Richard Eichenberger zu ihrem unentgeltlichen Vertreter (Dispositiv-Ziffer 1). Sodann verpflichtete es die IV-Stelle, G._ die Parteikosten in Höhe von Fr. 866.20 zu bezahlen (Dispositiv-Ziffer 3). C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, den Entscheid vom 14. Dezember 2010 in Bezug auf die Zusprechung einer Parteientschädigung (Dispositiv-Ziffer 3) aufzuheben. G._ schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist, während das kantonale Gericht beantragt, nicht auf das Rechtsmittel einzutreten. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.