Sachverhalt:
A. Die 1965 geborene Y._ war zu rund 75 % erwerbstätig. Nach Auflösung des Arbeitsverhältnisses aus gesundheitlichen Gründen meldete sie sich im Februar 1996 unter Hinweis auf "Rückenbeschwerden und Nervenstörung" bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Solothurn ermittelte nach der gemischten Methode einen Invaliditätsgrad von 93 % (100 % im Erwerbsbereich, 70 % im Aufgabenbereich) und sprach ihr mit Verfügung vom 9. Oktober 1996 eine ganze Invalidenrente ab 1. November 1995 zu. Mit Mitteilungen vom 22. Februar 2000 und 12. November 2002 bestätigte sie der Versicherten einen unveränderten Invaliditätsgrad und Rentenanspruch.
Im Juni 2008 leitete die Verwaltung erneut ein Revisionsverfahren ein und traf entsprechende Abklärungen. Nach Durchführung des Vorbescheidverfahrens hob sie mit Verfügung vom 1. Juni 2010 die bisherige Rente auf Ende des der Zustellung folgenden Monats auf mit der Begründung, ohne Gesundheitsschaden wäre die Versicherte nunmehr vollzeitig erwerbstätig; der Invaliditätsgrad sei nach der Einkommensvergleichsmethode festzusetzen und betrage lediglich 10 %.
B. In Gutheissung der Beschwerde der Y._ hob das Versicherungsgericht des Kantons Solothurn die Verfügung vom 1. Juni 2010 auf (Entscheid vom 14. Februar 2011).
C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt in Bestätigung der Verfügung vom 1. Juni 2010 die Aufhebung des Entscheids vom 14. Februar 2011. Ferner ersucht es darum, der Beschwerde aufschiebende Wirkung zuzuerkennen.
Y._ und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Die IV-Stelle lässt sich nicht vernehmen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. 2.1 Die Vorinstanz hat festgestellt, nach der Aktenlage sei keine wesentliche Veränderung des Gesundheitszustandes nachweisbar. Beim Gutachten des Inselspitals vom 28. April 2009 - in welchem keine Diagnose mit Auswirkungen auf die Arbeitsfähigkeit gestellt wurde - handle es sich lediglich um eine Neubeurteilung der gleichen gesundheitlichen Situation. Zwar habe der Erwerbsstatus der Versicherten geändert. Bei einem hypothetischen Arbeitspensum von 100 resp. 50 % betrage der Invaliditätsgrad neu 100 resp. 86 %, was ohne Einfluss auf den Rentenanspruch bleibe. Folglich hat sie einen Revisionsgrund nach <ref-law> (SR 830.1) verneint. Ebenso hat sie, obwohl die Rentenzusprache auf einer Schmerzstörung beruht habe, eine Wiedererwägung der entsprechenden Verfügung (vgl. <ref-law>) für nicht zulässig gehalten, zumal die diesbezügliche Rechtsprechung (<ref-ruling>) erst nachträglich eingeführt worden sei und diese für sich auch keine Rentenaufhebung rechtfertige (<ref-ruling> E. 7 S. 211 ff.).
2.2 Die vorinstanzlichen Sachverhaltsfeststellungen sind nicht offensichtlich unrichtig und werden auch vom BSV explizit nicht in Abrede gestellt (E. 1). Weiter werden die vorinstanzlichen Erwägungen betreffend die Rentenaufhebung mit der Begründung der Wiedererwägung (<ref-law>; Urteil 9C_1014/2008 vom 14. April 2009 E. 3.1) oder der Anpassung an geänderte Rechtsgrundlagen (<ref-ruling> E. 7 S. 211 ff.; 215 E. 6 und 7 S. 225 ff.) zu Recht nicht angefochten. Streitig und zu prüfen ist einzig die Rechtsfrage, ob mit dem veränderten Erwerbsstatus ein Revisionsgrund im Sinne von <ref-law> vorliegt.
3. 3.1 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law> [SR 830.1]). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes, der erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes (<ref-ruling> E. 3.5 S. 349 mit Hinweisen) oder der Grundlagen für die Wahl der Invaliditätsbemessungsmethode (<ref-ruling> E. 3b S. 199; Urteil 9C_90/2010 vom 22. April 2010 E. 1.2) revidierbar. Bei den Renten der Invalidenversicherung ist grundsätzlich jede Änderung des Sachverhalts, die zu einer Über- oder Unterschreitung eines Schwellenwertes (vgl. <ref-law>) führt, als erheblich zu betrachten (<ref-ruling> E. 6 und 7 S. 546 ff.; SVR 2010 IV Nr. 53 S. 165, 9C_8/2010 E. 3.1). Liegt in diesem Sinne ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig zu prüfen (<ref-ruling> E. 4b S. 200; SVR 2004 IV Nr. 17 S. 53, I 526/02 E. 2.3; Urteil 9C_744/2008 vom 19. November 2008 E. 3.1.1 mit weiteren Hinweisen).
3.2 Entgegen der Auffassung des BSV genügt für eine Rentenanpassung nicht bereits "irgendeine" Veränderung im Sachverhalt. Fällt lediglich ein verändertes hypothetisches Erwerbspensum in Betracht, bildet dies nur dann einen Revisionsgrund, wenn es den Rentenanspruch berührt (E. 3.1). Das gilt auch dann, wenn aufgrund des veränderten Erwerbsstatus eine andere Invaliditätsbemessungsmethode (vgl. <ref-law>) anwendbar wird. Diese Regelung entspricht der bisherigen Rechtsprechung; Gründe für eine diesbezügliche Praxisänderung (vgl. <ref-ruling> E. 3 S. 8; <ref-ruling> E. 3 S. 82; <ref-ruling> E. 3.3 S. 76) werden nicht geltend gemacht.
Es trifft zu, dass das Leiden der Versicherten in Anbetracht der Rechtsprechung zu somatoformen Schmerzstörungen und damit vergleichbaren Schmerzleiden (<ref-ruling> E. 2.2.3 S. 353 f.; <ref-ruling> E. 3 S. 280 ff.) bei aktueller Beurteilung wohl kaum mehr einen Rentenanspruch zu begründen vermöchte. Bei unverändertem Gesundheitszustand hat dieser Umstand jedoch hinsichtlich der sich zunächst stellenden Frage nach dem Vorliegen eines Revisionsgrundes ausser Acht zu bleiben. Erst nach deren Bejahung ist der genannten Rechtsprechung im Rahmen der allseitigen Prüfung des Anspruchs Rechnung zu tragen. Ein anderes Vorgehen käme einer unzulässigen voraussetzungslosen Neubeurteilung des Rentenanspruchs (Urteil 9C_114/2008 vom 30. April 2008 E. 2.1) resp. Vorwegnahme der von den Eidg. Räten am 18. März 2011 beschlossenen Schlussbestimmung lit. a zur 6. IVG-Revision, erstes Massnahmenpaket (BBl 2011 2734 f.), gleich (vgl. <ref-ruling> E. 7 S. 211 ff.; 215 E. 6 und 7 S. 225 ff.).
3.3 Die Vorinstanz hat zutreffend dargelegt, dass allein die Erhöhung des hypothetischen Erwerbspensums auf 100 % (entsprechend der Verfügung vom 1. Juni 2010 und der Aussage der Versicherten im Revisionsgespräch vom 26. September 2008) oder dessen Reduktion auf 50 % (wie im Bericht des verwaltungsinternen Abklärungsdienstes vom 22. Juni 2009 diskutiert) keine Veränderung des Rentenanspruchs (<ref-law>) bewirkt. Eine andere anspruchsrelevante Veränderung des Sachverhalts im massgeblichen Vergleichszeitraum ist nicht ersichtlich und wird auch nicht geltend gemacht. Das kantonale Gericht hat daher zu Recht das Vorliegen eines Revisionsgrundes verneint; die Beschwerde ist unbegründet.
4. Mit dem Urteil in der Sache wird das Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos.
5. Vom BSV als unterliegende Partei sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 in Verbindung mit Abs. 4 BGG). Hingegen hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Das Bundesamt für Sozialversicherungen hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Solothurn und dem Versicherungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Luzern, 3. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann