Sachverhalt: A. Mit Verfügung vom 21.August 2009 forderte die Ausgleichskasse des Kantons Solothurn von der Einwohnergemeinde der Stadt X._ Fr. 3'308.70 für 15 im Jahre 2006 zu Unrecht über die Erwerbsersatzordnung (EO) abgerechnete Schutzdiensttage von L._ zurück. Mit Einspracheentscheid vom 19. Januar 2010 bestätigte die Ausgleichskasse die Rückerstattungspflicht sowie die Höhe der zu bezahlenden Summe. B. In Gutheissung der Beschwerde der Einwohnergemeinde der Stadt X._ hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Oktober 2010 Verfügung und Einspracheentscheid auf. C. Das Bundesamt für Sozialversicherungen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des solothurnischen Versicherungsgerichts vom 27. Oktober 2010 sei aufzuheben. Die Ausgleichskasse des Kantons Solothurn beantragt die Gutheissung der Beschwerde. Das kantonale Versicherungsgericht und die Stadt X._ schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.