Sachverhalt:
A. Mit Verfügung vom 2. Dezember 2009 forderte die Ausgleichskasse des Kantons Solothurn von der Einwohnergemeinde der Stadt X._ Fr. 4'191.05 für 19 im Jahre 2007 zu Unrecht über die Erwerbsersatzordnung (EO) abgerechnete Schutzdiensttage von L._ zurück. Mit Einspracheentscheid vom 17. März 2010 bestätigte die Ausgleichskasse die Rückerstattungspflicht sowie die Höhe der zu bezahlenden Summe.
B. In Gutheissung der Beschwerde der Einwohnergemeinde der Stadt X._ hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Oktober 2010 Verfügung und Einspracheentscheid auf.
C. Das Bundesamt für Sozialversicherungen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des solothurnischen Versicherungsgerichts vom 27. Oktober 2010 sei aufzuheben.
Die Ausgleichskasse des Kantons Solothurn beantragt die Gutheissung der Beschwerde. Das kantonale Gericht und die Stadt X._ schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. In Bezug auf die - von der Vorinstanz verneinte - Rückerstattungspflicht der Einwohnergemeinde der Stadt X._ ist unbestritten, dass für 19 von L._ in der Funktion als "ZS-Kdt.-Stv. ..." im Zeitraum April bis November 2007 absolvierte Diensttage zu Unrecht Erwerbsausfallentschädigung in der Höhe von insgesamt Fr. 4'191.05 ausgerichtet worden war. Die diesbezüglich massgebenden Bestimmungen des Bundesgesetzes vom 4. Oktober 2002 über den Bevölkerungsschutz und den Zivilschutz (BZG; SR 520.1) sowie der Verordnung vom 5. Dezember 2003 über Einsätze des Zivilschutzes zu Gunsten der Gemeinschaft (VEZG; SR 520.14) werden im angefochtenen Entscheid wiedergegegeben, worauf verwiesen wird (vgl. auch Urteil 9C_534/2009 vom 4. Februar 2010 E. 2.1). Streitig ist hingegen, ob der Rückforderungsanspruch verwirkt ist.
2. 2.1 Gemäss dem kraft <ref-law> in Verbindung mit <ref-law> auch im Bereich der Erwerbsersatzordnung geltenden <ref-law> erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung.
2.2 Massgebend für die Auslösung der einjährigen Verwirkungsfrist nach <ref-law> ist der Zeitpunkt, in dem der Versicherungsträger bei Beachtung der ihm zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückforderung gegeben waren. Dies ist der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17). Verfügt die Versicherungseinrichtung über genügende Hinweise auf einen möglichen Rückforderungsanspruch, sind die Unterlagen aber noch unvollständig, hat sie die noch erforderlichen Abklärungen innert angemessener Zeit vorzunehmen. Bei Säumnis ist der Beginn der Verwirkungsfrist auf den Zeitpunkt festzusetzen, in welchem die Verwaltung mit zumutbarem Einsatz ihre unvollständige Kenntnis so zu ergänzen im Stande gewesen wäre, dass der Rückforderungsanspruch hätte geltend gemacht werden können. Die einjährige Verwirkungsfrist beginnt auf jeden Fall, wenn und sobald sich aus den Akten bereits die Unrechtmässigkeit der Leistungserbringung ergibt, ohne dass Zeit für eine weitere Abklärung zugestanden würde (Urteil K 70/06 vom 30. Juli 2007 E. 5.1 mit Hinweisen, nicht publiziert in: <ref-ruling>, aber in: SVR 2008 KV Nr. 4 S. 11; Urteil 9C_1057/2008 vom 4. Mai 2009 E. 4.1.1).
2.3 Ist für die Abklärung und Prüfung eines Rückforderungsanspruchs das Zusammenwirken mehrerer mit der Durchführung der Versicherung betrauter Verwaltungsstellen erforderlich, genügt für den Beginn des Fristenlaufs die nach der dargelegten Praxis erforderliche Kenntnis einer dieser Stellen (<ref-ruling> E. 4c S. 182 f.; ZAK 1989 S. 558, H 212/88 E. 4b). Die Durchführung der Erwerbsersatzordnung erfolgt durch die Organe der Alters- und Hinterlassenenversicherung, für den Zivilschutz unter Mitwirkung der Rechnungsführer der Schutzorganisationen (<ref-law>). Im Kanton Solothurn sind die Zivilschutzkommission und das Zivilschutzkommando die Organe der regionalen Zivilschutzorganisation (RZSO). Das Amt für Militär und Bevölkerungsschutz ist zuständig für die Kontrollführung im Bereich des Zivilschutzes und erlässt hierfür Weisungen (§§ 2 und 22 Abs. 1 der Verordnung vom 15. November 2005 über den Bevölkerungsschutz und den Zivilschutz [BZVSO; BGS 531.2]). Die Erwerbsersatzordnung steht unter der Aufsicht des Bundes. Zuständig ist der Bundesrat, welcher das Bundesamt für Sozialversicherungen beauftragen kann, den mit der Durchführung der Versicherung betrauten Stellen für den einheitlichen Vollzug Weisungen zu erteilen (<ref-law> in Verbindung mit <ref-law> und <ref-law>; Urteil 9C_1057/2008 vom 4. Mai 2009 E. 4.1.2).
3. 3.1 Die Vorinstanz hat erwogen, bereits in den Jahren 2003-2005 seien für L._ 178 Diensttage mehr als die maximal zulässige Anzahl von Wiederholungskurs- und Weiterbildungstagen gemeldet und durch die EO entschädigt worden. Am 15. November 2007 habe die Ausgleichkasse eine entsprechende Rückforderungsverfügung erlassen. Spätestens diese Verfügung hätte Anlass sein müssen, die Rechtmässigkeit auch der für das Jahr 2007 entschädigten Diensttage zu überprüfen. Bei Erlass der Verfügung am 2. Dezember 2009 sei der Rückforderungsanspruch daher verwirkt gewesen.
3.2 Nach Auffassung des Beschwerde führenden Bundesamtes konnte im Zeitpunkt der Verfügung vom 15. November 2007 von keiner der mit der Durchführung der Erwerbsersatzordnung betrauten Verwaltungsstellen erkannt werden, ob für L._ auch im Jahre 2006 zu viele Diensttage abgerechnet worden waren. Aus der EO-Anmeldung liessen sich keine diesbezüglichen Rückschlüsse ziehen. Die Ausgleichskassen müssten sich bei diesem Massengeschäft auf die Angaben der Rechnungsführer grundsätzlich verlassen können. Nachdem festgestellt worden sei, dass in den letzten Jahren die Obergrenze für die jährlichen Wiederholungskurse häufig weit überschritten oder Gemeinschaftseinsätze auf kommunaler oder kantonaler Ebene ohne Bewilligung getätigt worden seien, sei zusammen mit dem Bundesamt für Bevölkerungsschutz (BABS) eine breit angelegte Untersuchung eingeleitet worden. Diese habe in vielen Fällen Unregelmässigkeiten aufgezeigt, sich aber wegen der grossen Anzahl und den mehreren involvierten Stellen als (zeit)aufwändig erwiesen. Da zudem die Liste der Zentralen Ausgleichskasse für ein bestimmtes Jahr nicht sofort zu Beginn des nachfolgenden Jahres einverlangt werden könne, weil die Dienstleistenden erfahrungsgemäss die Anmeldungen verspätet einreichten, sei es im Falle von L._ erst am 11. November 2009 feststellbar gewesen, dass diesem für das Jahr 2007 19 Tage zu viel entschädigt worden waren. Die Rückforderungsverfügung vom 2. Dezember 2009 sei daher vor Ablauf der einjährigen Verwirkungsfrist ergangen.
3.2 Nach Auffassung des Beschwerde führenden Bundesamtes konnte im Zeitpunkt der Verfügung vom 15. November 2007 von keiner der mit der Durchführung der Erwerbsersatzordnung betrauten Verwaltungsstellen erkannt werden, ob für L._ auch im Jahre 2006 zu viele Diensttage abgerechnet worden waren. Aus der EO-Anmeldung liessen sich keine diesbezüglichen Rückschlüsse ziehen. Die Ausgleichskassen müssten sich bei diesem Massengeschäft auf die Angaben der Rechnungsführer grundsätzlich verlassen können. Nachdem festgestellt worden sei, dass in den letzten Jahren die Obergrenze für die jährlichen Wiederholungskurse häufig weit überschritten oder Gemeinschaftseinsätze auf kommunaler oder kantonaler Ebene ohne Bewilligung getätigt worden seien, sei zusammen mit dem Bundesamt für Bevölkerungsschutz (BABS) eine breit angelegte Untersuchung eingeleitet worden. Diese habe in vielen Fällen Unregelmässigkeiten aufgezeigt, sich aber wegen der grossen Anzahl und den mehreren involvierten Stellen als (zeit)aufwändig erwiesen. Da zudem die Liste der Zentralen Ausgleichskasse für ein bestimmtes Jahr nicht sofort zu Beginn des nachfolgenden Jahres einverlangt werden könne, weil die Dienstleistenden erfahrungsgemäss die Anmeldungen verspätet einreichten, sei es im Falle von L._ erst am 11. November 2009 feststellbar gewesen, dass diesem für das Jahr 2007 19 Tage zu viel entschädigt worden waren. Die Rückforderungsverfügung vom 2. Dezember 2009 sei daher vor Ablauf der einjährigen Verwirkungsfrist ergangen.
3.3 3.3.1 Gemäss dem Formular "Diensttage gemäss Angaben der EO-Anmeldungen" für 2007 hatte L._ in diesem Jahr insgesamt 42 Zivilschutz-Tage absolviert, nach den Angaben in den Meldekarten zur Art des Dienstes 3 Tage "Kurse", 22 Tage "WK", 2 Tage "Einsatz Kat. und Notlage", sowie 11 Tage "Einsatz z G Gemeinschaft". Bei 4 Tagen wurde "unbestimmt" angegeben. Dabei handelte es sich um Dienst, welcher als Wiederholungskurs (WK) galt, wie sich nachträglich ergab. Anderseits stellten 2 WK-Tage Einsatz zu Gunsten der Gemeinschaft dar. Bereits aufgrund der Meldekarten musste somit zumindest von der Möglichkeit einer Überschreitung der nach Gesetz maximal entschädigungsberechtigten Anzahl von 14 WK-Tagen (<ref-law>) ausgegangen werden. Das für die Kontrollführung zuständige Amt für Militär und Zivilschutz oder die Ausgleichskasse hätten daher entsprechende nicht aufwändige Abklärungen treffen müssen. Dazu bestand auch deshalb Anlass, weil die Ausgleichskasse spätestens seit 15. November 2007 Kenntnis davon hatte, dass für dieselbe Person in den Jahren 2003-2005 insgesamt 178 Diensttage zu viel entschädigt worden waren. An diesem Tag hatte sie eine entsprechende Rückforderungsverfügung erlassen. Unter diesen Umständen war nicht nur möglicherweise, sondern sehr wahrscheinlich auch für das Jahr 2007 nicht gesetzeskonform abgerechnet worden. Da es im Wesentlichen einzig abzuklären galt, ob entgegen den Angaben zur Art der Dienstleistung in den EO-Meldekarten tatsächlich mehr als 16 Diensttage unter dem Titel Einsatz bei Katastrophen und in Notlagen oder zu Gunsten der Gemeinschaft (<ref-law>) geleistet worden waren, was innert nützlicher Frist möglich gewesen wäre, verletzt der vorinstanzliche Schluss, der Rückforderungsanspruch sei bei Erlass der Verfügung vom 2. Dezember 2009 verwirkt gewesen, kein Bundesrecht.
3.4 Die Ausführungen der Aufsichtsbehörde vermögen an diesem Ergebnis nichts zu ändern.
3.4.1 Wenn sie vorbringt, sämtliche möglichen Rückforderungsfälle würden aus Gründen der Praktikabilität pro Kalenderjahr gesamthaft in zeitlich gleichen Etappen überprüft, die von ihr gesichteten und sortierten Akten betreffend die EO-Leistungen 2007 bezüglich L._ und 440 anderer Personen mit Abklärungsbedarf hätten dem BABS erst am 10. Juli 2008 zugestellt werden können, worauf die Fälle den zuständigen kantonalen Ämtern zur Prüfung unterbreitet, danach erneut durch dieses beurteilt worden seien, um schliesslich anlässlich eines Gesprächs am 11. November 2009 bereinigt zu werden, beschreibt sie administrative Abläufe, die an sich nachvollziehbar erscheinen. Solch koordiniertes Verwaltungshandeln kann aber nicht dazu führen, dass für den Beginn der Verwirkungsfrist im Einzelfall die konkreten Verhältnisse, insbesondere der Kenntnisstand der Durchführungsorgane, ausser Acht gelassen werden. In diesem Zusammenhang kann der Auffassung der Aufsichtsbehörde nicht gefolgt werden, auf die Kenntnis der Ausgleichskasse könne nicht abgestellt werden, weil diese an die Angaben der Rechnungsführer in den EO-Anmeldungen gebunden sei. Diese Amtsstelle nimmt nicht nur die Auszahlungen vor, sondern verfügt auch Rückforderungen. Kann die Ausgleichskasse bei der gebotenen und zumutbaren Aufmerksamkeit erkennen, dass wahrscheinlich ein Rückforderungstatbestand gegeben ist, hindert eine allfällige Untätigkeit die Auslösung der relativen einjährigen Verwirkungsfrist nach <ref-law> nicht.
3.4.2 Es wird nicht geltend gemacht und es finden sich auch keine Anhaltspunkte in den Akten, dass die EO-Anmeldungen für L._ verspätet bei der Ausgleichskasse eingegangen wären. War aber die Ausgleichskasse im Besitze aller EO-Meldekarten für das Jahr 2007, woraus sich ein möglicher oder sogar wahrscheinlicher unrechtmässiger Leistungsbezug ergab, und hatte sie spätestens ab dem 15. November 2007 Kenntnis davon, dass für die nämliche Person in den Vorjahren viel zu viele Diensttage abgerechnet worden waren, begann - nach allfälligen nicht aufwändigen Abklärungen - die Verwirkungsfrist zu laufen, dies ungeachtet dem vom Bundesamt aus arbeitsorganisatorischen Gründen gewählten Vorgehen der gleichzeitigen Behandlung aller das Jahr 2007 betreffenden Fälle.
4. Dem unterliegenden Bundesamt sind keine Gerichtskosten aufzuerlegen (<ref-law>). Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, der Ausgleichskasse des Kantons Solothurn und dem Versicherungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Luzern, 16. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler