Sachverhalt: A. Mit Verfügung vom 7. März 2007 forderte die Ausgleichskasse des Kantons Solothurn von der Stadt X._ Fr. 67'272.80 für in den Jahren 2002 bis 2005 zu Unrecht über die Erwerbsersatzordnung (EO) abgerechnete Schutzdiensttage von G._ (49 Tage) und M._ (370 Tage) zurück. Mit Einspracheentscheid vom 24. Oktober 2007 bestätigte die Ausgleichskasse eine Rückerstattungspflicht sowie die Höhe der zu bezahlenden Summe. B. In Gutheissung der Beschwerde der Stadt X._ hob das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 6. November 2008 Verfügung und Einspracheentscheid auf. C. Das Bundesamt für Sozialversicherungen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des solothurnischen Versicherungsgerichts vom 6. November 2008 sei aufzuheben. Die Ausgleichskasse des Kantons Solothurn beantragt die Gutheissung der Beschwerde. Das kantonale Gericht und die Stadt X._ schliessen auf Abweisung der Beschwerde.