Sachverhalt:
A. Nachdem die IV-Stelle des Kantons Aargau mit Verfügung vom 23. Februar 2007 einen Rentenanspruch (Invaliditätsgrad von 11 %) verneint hatte, meldete sich die 1970 geborene M._ im März 2010 erneut bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung des Vorbescheidverfahrens trat die IV-Stelle mit Verfügung vom 7. Oktober 2010 auf das Begehren nicht ein.
B. Die Beschwerde der M._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 10. Mai 2011 ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 10. Mai 2011 sei die IV-Stelle zu verpflichten, auf das neue Leistungsbegehren einzutreten und die notwendigen Abklärungen vorzunehmen.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Wurde eine Rente wegen eines zu geringen Invaliditätsgrades verweigert, so wird eine neue Anmeldung nur geprüft, wenn damit glaubhaft gemacht wird, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV [SR 831.201]).
2.2 Mit dem Beweismass des Glaubhaftmachens sind herabgesetzte Anforderungen an den Beweis verbunden; die Tatsachenänderung muss nicht nach dem im Sozialversicherungsrecht sonst üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 126 V 353 E. 5b S. 360) erstellt sein. Es genügt, dass für das Vorhandensein des geltend gemachten rechtserheblichen Sachumstandes wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Änderung nicht erstellen lassen (Urteile I 724/99 vom 5. Oktober 2001 E. 1c/aa, nicht publiziert in BGE 127 V 294, aber in SVR 2002 IV Nr. 10; 8C_341/2011 vom 27. Juni 2011 E. 2.2.1).
2.3 Ob eine anspruchserhebliche Änderung nach Art. 87 Abs. 3 IVV glaubhaft gemacht ist, stellt eine vom Bundesgericht nur unter dem Blickwinkel von Art. 105 Abs. 2 BGG überprüfbare Tatfrage dar. Um eine Frage rechtlicher Natur handelt es sich hingegen, wenn zu beurteilen ist, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von Art. 87 Abs. 3 IVV zu stellen sind (Urteil 8C_341/2011 vom 27. Juni 2011 E. 2.2.3 mit Hinweisen).
3. 3.1 Zur Untermauerung der geltend gemachten gesundheitlichen Verschlechterung liegen einzig die beiden Schreiben der Frau Prakt. med. L._, Fachärztin für Psychiatrie und Psychotherapie, vom 10. April 2010 und 5. Februar 2011, welche die Versicherte seit August 2009 behandelt, bei den Akten.
3. 3.1 Zur Untermauerung der geltend gemachten gesundheitlichen Verschlechterung liegen einzig die beiden Schreiben der Frau Prakt. med. L._, Fachärztin für Psychiatrie und Psychotherapie, vom 10. April 2010 und 5. Februar 2011, welche die Versicherte seit August 2009 behandelt, bei den Akten.
3.2 3.2.1 Die Vorinstanz hat festgestellt, der Vergleich der gesundheitlichen Situation vor Erlass der Verfügung vom 23. Februar 2007 mit jener im Zeitpunkt der Neuanmeldung zeige ein praktisch gleich aussehendes Beschwerdebild. Depressive Symptome und Stimmungslage sowie Ängste wie Zukunftsangst, Beengungsgefühle oder Verzweiflung seien in den Berichten vor 2007 immer wieder genannt worden. Daher erscheine die von Frau Prakt. med. L._ diagnosti-zierte Angststörung (ICD-10: F41.0) nicht als neues psychiatrisches Leiden, sondern als Neubenennung des bereits seit Jahren bestehenden bzw. immer wieder aufgetretenen Beschwerdebildes. In Bezug auf die ebenfalls neue Diagnose einer posttraumatischen Belastungsstörung (ICD-10: F43.1) fehle es an einem Trauma, welches definitionsgemäss geeignet sei, eine solche Störung auszulösen.
3.2.2 Diese Sachverhaltsfeststellungen sind nicht offensichtlich unrichtig; solches wird denn auch nicht gerügt. Soweit die Versicherte seit 2007 neu aufgetretene starke Rückenschmerzen, Blockaden im Hals mit Ausstrahlung in den Kopf, Sprechstörungen und erheblich erhöhte Verabreichung von Medikamenten geltend macht, finden sich dafür in den Schreiben der Frau Prakt. med. L._ keine Hinweise. Gefühlsveränderungen, insbesondere "Taubheit", wurden bereits im - der Verfügung vom 23. Februar 2007 zugrunde liegenden - Gutachten des Instituts X._ vom 5. Oktober 2006 ausführlich thematisiert. Im Übrigen lässt sich allein aus der vom Gutachten des Instituts X._ abweichenden Diagnosestellung und Arbeitsfähigkeitsschätzung der Frau Prakt. med. L._ nicht auf einen veränderten Gesundheitszustand schliessen, wurden doch in Bezug auf diese - zu einem guten Teil auf ärztlichem Ermessen beruhenden - Aspekte bereits vor Erlass der Verfügung vom 23. Februar 2007 unterschiedliche Auffassungen vertreten.
3.2.3 Weiter beruhen die Feststellungen nicht auf einer Rechtsverletzung. Zwar hat die Vorinstanz für den Sachverhalt im Vergleichszeitpunkt nicht ausschliesslich auf das Gutachten des Instituts X._ verwiesen. Dies schadet indessen nicht, lassen sich tatsächliche Gegebenheiten doch auch weiteren medizinischen Unterlagen entnehmen. Diese fanden zudem zu Recht und notwendigerweise Eingang in das Gutachten des Instituts X._ (BGE 125 V 351 E. 3a S. 352), auch wenn die Experten - namentlich aufgrund eigener Untersuchungen - insbesondere in Bezug auf die Arbeitsfähigkeit von anderen ärztlichen Meinungen abweichende Schlüsse zogen. Von einer "willkürlichen Auswahl der Grundlagen" (vgl. Art. 9 BV) kann daher nicht die Rede sein.
3.2.4 Nach dem Gesagten sind die vorinstanzlichen Sachverhaltsfeststellungen (E. 3.2.1) für das Bundesgericht verbindlich (E. 1).
3.3 Dass die Vorinstanz folglich eine erhebliche Veränderung des Sachverhalts nicht für glaubhaft gehalten hat, verletzt Bundesrecht nicht (E. 2.3). Entgegen der Auffassung der Beschwerdeführerin genügt in Bezug auf das Beweismass des Glaubhaftmachens nicht, dass die geltend gemachte Änderung lediglich nicht vollkommen unglaubwürdig ist. Vielmehr bedarf es eines substanziellen Anhaltspunkts für eine allfällige neue Prüfung des Leistungsanspruchs (vgl. Urteil 8C_341/2011 vom 27. Juni 2011 E. 2.2.2). Daran fehlt es hier. Die Beschwerde ist unbegründet.
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann