Sachverhalt:
A. Mit Verfügung vom 21.August 2009 forderte die Ausgleichskasse des Kantons Solothurn von der Einwohnergemeinde der Stadt X._ Fr. 3'308.70 für 15 im Jahre 2006 zu Unrecht über die Erwerbsersatzordnung (EO) abgerechnete Schutzdiensttage von L._ zurück. Mit Einspracheentscheid vom 19. Januar 2010 bestätigte die Ausgleichskasse die Rückerstattungspflicht sowie die Höhe der zu bezahlenden Summe.
B. In Gutheissung der Beschwerde der Einwohnergemeinde der Stadt X._ hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Oktober 2010 Verfügung und Einspracheentscheid auf.
C. Das Bundesamt für Sozialversicherungen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des solothurnischen Versicherungsgerichts vom 27. Oktober 2010 sei aufzuheben.
Die Ausgleichskasse des Kantons Solothurn beantragt die Gutheissung der Beschwerde. Das kantonale Versicherungsgericht und die Stadt X._ schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. In Bezug auf die - von der Vorinstanz verneinte - Rückerstattungspflicht der Einwohnergemeinde der Stadt X._ ist unbestritten, dass für 15 von L._ in der Funktion als "ZS-Kdt.-Stv. ..." im Zeitraum Mai bis Oktober 2006 absolvierte Diensttage zu Unrecht Erwerbsausfallentschädigung in der Höhe von insgesamt Fr. 3'308.70 ausgerichtet worden war. Die diesbezüglich massgebenden Bestimmungen des Bundesgesetzes vom 4. Oktober 2002 über den Bevölkerungsschutz und den Zivilschutz (BZG; SR 520.1) sowie der Verordnung vom 5. Dezember 2003 über Einsätze des Zivilschutzes zu Gunsten der Gemeinschaft (VEZG; SR 520.14) werden im angefochtenen Entscheid erwähnt, worauf verwiesen wird (vgl. auch Urteil 9C_534/2009 vom 4. Februar 2010 E. 2.1). Streitig ist hingegen, ob der Rückforderungsanspruch verwirkt ist.
2. 2.1 Gemäss dem kraft <ref-law> in Verbindung mit <ref-law> auch im Bereich der Erwerbsersatzordnung geltenden <ref-law> erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung.
2.2 Massgebend für die Auslösung der einjährigen Verwirkungsfrist nach <ref-law> ist der Zeitpunkt, in dem der Versicherungsträger bei Beachtung der ihm zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückforderung gegeben waren. Dies ist der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17). Verfügt die Versicherungseinrichtung über genügende Hinweise auf einen möglichen Rückforderungsanspruch, sind die Unterlagen aber noch unvollständig, hat sie die noch erforderlichen Abklärungen innert angemessener Zeit vorzunehmen. Bei Säumnis ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem die Verwaltung mit zumutbarem Einsatz ihre unvollständige Kenntnis so zu ergänzen im Stande gewesen wäre, dass der Rückforderungsanspruch hätte geltend gemacht werden können. Die einjährige Verwirkungsfrist beginnt auf jeden Fall, wenn und sobald sich aus den Akten bereits die Unrechtmässigkeit der Leistungserbringung ergibt, ohne dass Zeit für eine weitere Abklärung zugestanden würde (Urteil K 70/06 vom 30. Juli 2007 E. 5.1 mit Hinweisen, nicht publiziert in: <ref-ruling>, aber in: SVR 2008 KV Nr. 4 S. 11; Urteil 9C_1057/2008 vom 4. Mai 2009 E. 4.1.1).
2.3 Ist für die Abklärung und Prüfung eines Rückforderungsanspruchs das Zusammenwirken mehrerer mit der Durchführung der Versicherung betrauter Verwaltungsstellen erforderlich, genügt für den Beginn des Fristenlaufs die nach der dargelegten Praxis erforderliche Kenntnis einer dieser Stellen (<ref-ruling> E. 4c S. 182 f.; ZAK 1989 S. 558, H 212/88 E. 4b). Die Durchführung der Erwerbsersatzordnung erfolgt durch die Organe der Alters- und Hinterlassenenversicherung, für den Zivilschutz unter Mitwirkung der Rechnungsführer der Schutzorganisationen (<ref-law>). Im Kanton Solothurn sind die Zivilschutzkommission und das Zivilschutzkommando die Organe der regionalen Zivilschutzorganisation (RZSO). Das Amt für Militär und Bevölkerungsschutz ist zuständig für die Kontrollführung im Bereich des Zivilschutzes und erlässt hierfür Weisungen (§§ 2 und 22 Abs. 1 der Verordnung vom 15. November 2005 über den Bevölkerungsschutz und den Zivilschutz [BZVSO; BGS 531.2]). Die Erwerbsersatzordnung steht unter der Aufsicht des Bundes. Zuständig ist der Bundesrat, welcher das Bundesamt für Sozialversicherungen beauftragen kann, den mit der Durchführung der Versicherung betrauten Stellen für den einheitlichen Vollzug Weisungen zu erteilen (<ref-law> in Verbindung mit <ref-law> und <ref-law>; Urteil 9C_1057/2008 vom 4. Mai 2009 E. 4.1.2).
3. 3.1 Die Vorinstanz hat erwogen, bereits in den Jahren 2003-2005 seien für L._ 178 Diensttage mehr als die maximal zulässige Anzahl von Wiederholungskurs- und Weiterbildungstagen gemeldet und durch die EO entschädigt worden. Am 15. November 2007 habe die Ausgleichkasse eine entsprechende Rückforderungsverfügung erlassen. Spätestens diese Verfügung hätte Anlass sein müssen, die Rechtmässigkeit auch der für das Jahr 2006 entschädigten Diensttage zu überprüfen. Bei Erlass der Verfügung am 21. August 2009 sei der Rückforderungsanspruch daher verwirkt gewesen.
3.2 Nach Auffassung des Beschwerde führenden Bundesamtes konnte im Zeitpunkt der Verfügung vom 15. November 2007 von keiner der mit der Durchführung der Erwerbsersatzordnung betrauten Verwaltungsstellen erkannt werden, ob für L._ auch im Jahre 2006 zu viele Diensttage abgerechnet worden waren. Aus der EO-Anmeldung liessen sich keine diesbezüglichen Rückschlüsse ziehen. Die Ausgleichskassen müssten sich bei diesem Massengeschäft auf die Angaben der Rechnungsführer grundsätzlich verlassen können. Nachdem festgestellt worden sei, dass in den letzten Jahren die Obergrenze für die jährlichen Wiederholungskurse häufig weit überschritten oder Gemeinschaftseinsätze auf kommunaler oder kantonaler Ebene ohne Bewilligung getätigt worden seien, sei zusammen mit dem Bundesamt für Bevölkerungsschutz eine breit angelegte Untersuchung eingeleitet worden. Diese habe in vielen Fällen Unregelmässigkeiten aufgezeigt, sich aber wegen der grossen Anzahl und den mehreren involvierten Stellen als (zeit)aufwändig erwiesen. Da zudem die Liste der Zentralen Ausgleichskasse für ein bestimmtes Jahr nicht sofort zu Beginn des nachfolgenden Jahres einverlangt werden könne, weil die Dienstleistenden erfahrungsgemäss die Anmeldungen verspätet einreichten, sei es im Falle von L._ erst im März 2009 feststellbar gewesen, dass für ihn 2006 15 Tage zuviel durch die EO entschädigt worden seien. Die Rückforderungsverfügung vom 21. August 2009 sei daher vor Ablauf der einjährigen Verwirkungsfrist ergangen.
3.3 Im vorliegenden Fall hatte der zuständige Rechnungsführer der Ausgleichskasse zwölf EO-Meldekarten für Einsätze von L._ im Jahr 2006 eingereicht. Auf zehn Meldekarten enthielt die Angabe unter Truppenstempel/Ausbildungsdienst den Hinweis auf eine Dienstleistung im Rahmen eines Wiederholungskurses ("WK"; 28 Tage). Auf einer Meldekarte war unter der genannten Rubrik "Fachtagung psych. Betreu" (1 Tag) und auf einer weiteren "Einsatz z.G. Gemeinschaft" (5 Tage) vermerkt. Aufgrund der klaren und unmissverständlichen Bezeichnung des jeweils absolvierten Dienstes musste von der Möglichkeit einer Überschreitung der nach Gesetz maximal entschädigungsberechtigten Anzahl von 14 WK-Tagen (<ref-law>) ausgegangen werden. Das für die Kontrollführung zuständige Amt für Militär und Zivilschutz oder die Ausgleichskasse hätten daher entsprechende nicht aufwändige Abklärungen treffen müssen. Dazu bestand jedenfalls spätestens dann Anlass, als die Ausgleichskasse davon Kenntnis bekam, dass für dieselbe Person bereits in den Jahren 2003-2005 insgesamt 178 Diensttage zu viel entschädigt worden waren, und in der Folge am 15. November 2007 eine Rückforderungsverfügung erliess. In diesem Zeitpunkt musste definitiv davon ausgegangen werden, dass nicht nur möglicherweise, sondern sehr wahrscheinlich auch 2006 nicht gesetzeskonform abgerechnet worden war. Da es im Wesentlichen einzig abzuklären galt, ob entgegen den Angaben zur Art der Dienstleistung in den EO-Meldekarten tatsächlich mehr als 5 Diensttage unter dem Titel Einsätze zu Gunsten der Gemeinschaft (Art. 27 Abs. 1 und Abs. 2, je lit. c BZG) geleistet worden waren, was innert nützlicher Frist möglich gewesen wäre, verletzt der vorinstanzliche Schluss, der Rückforderungsanspruch sei bei Erlass der Verfügung vom 21. August 2009 verwirkt gewesen, kein Bundesrecht.
3.4 Die Ausführungen der Aufsichtsbehörde vermögen an diesem Ergebnis nichts zu ändern.
3.4.1 Wenn sie vorbringt, sämtliche möglichen Rückforderungsfälle würden aus Gründen der Praktikabilität pro Kalenderjahr gesamthaft in zeitlich gleichen Etappen überprüft, die von ihr gesichteten und sortierten Akten betreffend die EO-Leistungen 2006 bezüglich L._ und 550 anderer Personen mit Abklärungsbedarf hätten dem Bundesamt für Bevölkerungsschutz erst am 10. Juli 2008 zugestellt werden können, worauf die Fälle den zuständigen kantonalen Ämtern zur Prüfung unterbreitet worden seien, von wo sie am 12. März 2009 wieder an sie gelangten, beschreibt sie administrative Abläufe, die an sich nachvollziehbar erscheinen. Solch koordiniertes Verwaltungshandeln kann aber nicht dazu führen, dass für den Beginn der Verwirkungsfrist im Einzelfall die konkreten Verhältnisse, insbesondere der Kenntnisstand der Durchführungsorgane, ausser Acht gelassen werden. In diesem Zusammenhang kann der Auffassung der Aufsichtsbehörde nicht gefolgt werden, auf die Kenntnis der Ausgleichskasse könne nicht abgestellt werden, weil diese an die Angaben der Rechnungsführer in den EO-Anmeldungen gebunden sei. Diese Amtsstelle nimmt nicht nur die Auszahlungen vor, sondern verfügt auch Rückforderungen. Kann die Ausgleichskasse bei der gebotenen und zumutbaren Aufmerksamkeit erkennen, dass wahrscheinlich ein Rückforderungstatbestand gegeben ist, hindert eine allfällige Untätigkeit die Auslösung der relativen einjährigen Verwirkungsfrist nach <ref-law> nicht.
3.4.2 Dass die EO-Anmeldungen für L._ verspätet bei der Ausgleichskasse eingegangen wären, wird zu Recht nicht geltend gemacht. Die meisten Meldekarten wurden denn auch im Jahre 2006 unterzeichnet; nur zwei datieren vom 16. Februar 2007. War aber die Ausgleichskasse im Besitze aller EO-Meldekarten für das Jahr 2006, woraus sich ein möglicher oder sogar wahrscheinlicher unrechtmässiger Leistungsbezug ergab, und hatte sie spätestens ab dem 15. November 2007 Kenntnis davon, dass für die nämliche Person in den Vorjahren viel zu viele Diensttage abgerechnet worden waren, begann - nach allfälligen nicht aufwändigen Abklärungen - die Verwirkungsfrist zu laufen, dies ungeachtet dem von der Aufsichtsbehörde aus arbeitsorganisatorischen Gründen gewählten Vorgehen der gleichzeitigen Behandlung aller das Jahr 2006 betreffenden Fälle.
4. Dem unterliegenden Bundesamt sind keine Gerichtskosten aufzuerlegen (<ref-law>). Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, der Ausgleichskasse des Kantons Solothurn und dem Versicherungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Luzern, 16. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler