Sachverhalt:
A.
A._ bezog ab 1. Mai 2000 eine halbe Rente der Invalidenversicherung. Der Anspruch wurde mehrmals bestätigt. Im Mai 2010 leitete die Kantonale IV-Stelle Wallis ein weiteres Revisionsverfahren ein. Mit Verfügung vom 6. Oktober 2011 hob sie die Rente wiedererwägungsweise auf Ende November 2011 auf. In teilweiser Gutheissung der Beschwerde von A._ hob das Kantonsgericht Wallis, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 26. November 2012 diesen Verwaltungsakt auf und stellte fest, sie habe weiterhin Anspruch auf eine halbe Invalidenrente.
Am 8. April 2013 verfügte die IV-Stelle die Nachzahlung von Fr. 19'760.-- (Rentenleistungen für die Zeit vom 1. Dezember 2011 bis 30. April 2013).
B.
Dagegen erhob A._ Beschwerde und beantragte die Zusprechung von Verzugszinsen in der Höhe von Fr. 657.60, eventualiter die Rückweisung der Sache an die IV-Stelle zur Neubeurteilung.
Mit Entscheid vom 13. Mai 2014 hiess das Kantonsgericht Wallis, Sozialversicherungsrechtliche Abteilung, die Beschwerde gut und verpflichtete die IV-Stelle zur Bezahlung von Verzugszinsen in der Höhe von Fr. 657.60 für die Zeit vom 1. Dezember 2011 bis zum 30. April 2013.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das Bundesamt für Sozialversicherungen (BSV), der Entscheid vom 13. Mai 2014 sei aufzuheben.
A._ ersucht um Abweisung der Beschwerde, soweit darauf einzutreten ist. Die IV-Stelle schliesst auf Gutheissung des Rechtsmittels.

Erwägungen:
1.
Das BSV ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide kantonaler Versicherungsgerichte betreffend die Verzugszinspflicht auf der Nachzahlung von Renten der Invalidenversicherung legitimiert (<ref-law>, <ref-law> i. V. m. <ref-law>, <ref-law>; <ref-ruling> E. 2.2 S. 325).
2.
Der angefochtene Entscheid spricht der Beschwerdegegnerin gestützt auf <ref-law> (i.V.m. <ref-law> und <ref-law>) Verzugszinsen in der Höhe von Fr. 657.60 zu auf den für die Zeit vom 1. Dezember 2011 bis 30. April 2013 nachzuzahlenden Rentenleistungen von insgesamt Fr. 19'760.-- gemäss Verfügung vom 8. April 2013. Nach Auffassung des BSV sind keine Verzugszinsen geschuldet, da die Frist von 24 Monaten gemäss dieser Bestimmung (erst) ab Wirkung der die halbe Rente aufhebenden Verfügung vom 6. Oktober 2011 gemäss <ref-law> beginne.
3.
Sofern die versicherte Person ihrer Mitwirkungspflicht vollumfänglich nachgekommen ist, werden die Sozialversicherungen für ihre Leistungen nach Ablauf von 24 Monaten nach der Entstehung des Anspruchs, frühestens aber 12 Monate nach dessen Geltendmachung verzugszinspflichtig (<ref-law>).
3.1. In <ref-ruling> entschied das Bundesgericht, dass <ref-law> auch im Rahmen der Revision einer Rente der Invalidenversicherung nach <ref-law> anwendbar ist. Im konkreten Fall hatte die versicherte Person, welche eine Viertelsrente bezog, ein Revisionsgesuch wegen Verschlechterung des Gesundheitszustandes gestellt. Die IV-Stelle wies das Leistungsbegehren ab. Auf Anordnung des kantonalen Versicherungsgerichts, das die betreffende Verfügung aufhob, nahm sie weitere Abklärungen vor. In der Folge erhöhte sie die Viertelsrente auf eine ganze Rente, und zwar gestützt auf <ref-law> mit Wirkung ab dem Monat, in dem das Revisionsbegehren gestellt wurde. Das Bundesgericht erachtete diesen Zeitpunkt als massgebend für den Beginn der Frist von 24 Monaten nach <ref-law>. Es verstand somit unter "Entstehung des Anspruchs" im Sinne dieser Bestimmung im revisionsrechtlichen Kontext die Erhöhung der Rente.
3.2. Im Unterschied zu dem in <ref-ruling> beurteilten Fall hatte vorliegend die IV-Stelle im Mai 2010 von Amtes wegen ein Revisionsverfahren eingeleitet (<ref-law>). Weiter wurde die bestehende halbe Rente nicht erhöht, sondern der Anspruch vom kantonalen Versicherungsgericht bestätigt (Entscheid vom 26. November 2012), nachdem die IV-Stelle die Rente gestützt auf <ref-law> mit Wirkung ab 1. Dezember 2011 aufgehoben hatte (Verfügung vom 26. Oktober 2011 [recte: 6. Oktober]); ab diesem Zeitpunkt stellte sie auch die Leistungen ein. Nach Auffassung der Vorinstanz ist der Beschwerdegegnerin durch die ungerechtfertigte Rentenaufhebung ein Schaden entstanden. Diesen gelte es durch die Bezahlung von Verzugszins ab 1. Dezember 2011 auszugleichen. Anders zu entscheiden würde bedeuten, dass die IV-Stelle sich durch eine ungerechtfertigte Rentenaufhebung in stossender Weise einen Vorteil verschaffen könnte.
3.3. Entgegen der Auffassung des BSV kann der Umstand, dass sich die Herabsetzung oder Aufhebung der Rente durch die IV-Stelle nachträglich als unrichtig erweist, für den Beginn der Frist von 24 Monaten nach der Entstehung des Anspruchs nach <ref-law> grundsätzlich nicht von Bedeutung sein. Die sozialversicherungsrechtliche Verzugszinspflicht ist verschuldensunabhängig ausgestaltet. Die Zinsen dienen ausschliesslich dazu, den Schaden (Geldentwertung) auszugleichen, den die verspätete Ausrichtung der Leistungen für die versicherte Person hat (<ref-ruling> E. 4.5 in fine S. 280 mit Hinweisen auf die Lehre). Dies gilt unabhängig davon, ob die Rente bestätigt oder erhöht wird. Umgekehrt kann es für den Beginn der Verzugszinspflicht nach <ref-law> (Fälligkeitstermin für alle nachzuzahlenden Leistungen; Ueli Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 24 zu <ref-law>) keinen Unterschied machen, ob das Revisionsverfahren von Amtes wegen eingeleitet wurde (<ref-law>) oder auf Gesuch der versicherten Person hin (<ref-law>). In beiden Fällen wird der IV-Stelle eine gewisse Zeitspanne gewährt, innerhalb der sie - in Beachtung des Untersuchungsgrundsatzes (<ref-law>) - die notwendigen Abklärungen vornehmen kann, ohne sogleich mit der Bezahlung von Verzugszinsen rechnen zu müssen (<ref-ruling> E. 4.4 S. 278 f.; <ref-ruling> E. 3.6 S. 13; je mit Hinweis auf die Materialien).
3.4. Aus dem Vorstehenden ist zu folgern, dass in Fällen wie dem vorliegenden die Frist von 24 Monaten (nach der Entstehung des Anspruchs) im Sinne von <ref-law> spätestens bei Einleitung des Revisionsverfahrens (von Amtes wegen) beginnt. Ein späterer Zeitpunkt fällt ausser Betracht, da sich ein solcher sachlich nicht begründen liesse. Insbesondere widerspräche es der präventiven und ausgleichenden Funktion der Regelung (vorne E. 3.3), wenn die Frist von 24 Monaten erst mit der die Rente - zu Unrecht - herabsetzenden oder aufhebenden Verfügung bzw. am ersten Tag des zweiten der Zustellung folgenden Monats (<ref-law>) begänne, wie das BSV dafürhält. Der Auffassung des Bundesamtes, die schliessliche Bestätigung der halben Rente sei als neuerliche "Entstehung des Anspruchs" im Sinne von <ref-law> zu verstehen, ist mit der Versicherten zu entgegnen, dass der Anspruch auf eine halbe Rente auch nach Einstellung der Leistungen aufgrund der verfügten Rentenaufhebung ununterbrochen weiterbestand. Der Anspruch konnte und musste somit nicht neu entstehen.
3.5. Nach dem Gesagten beginnt im vorliegenden Fall die Frist von 24 Monaten nach <ref-law> im Mai 2010. Folglich besteht erst, aber immerhin ab 1. Juni 2012 bis 30. April 2013 eine Verzugszinspflicht. In diesem Sinne ist die Beschwerde begründet. Die IV-Stelle wird den Verzugszinsbetrag, allenfalls unter Berücksichtigung von <ref-law>, festzusetzen haben.
4.
Ausgangsgemäss sind die IV-Stelle und die Beschwerdegegnerin je zur Hälfte kostenpflichtig (<ref-law>). Das teilweise unterliegende Bundesamt hat keine Gerichtskosten zu tragen (<ref-law>); es hat jedoch der Beschwerdegegnerin in solidarischer Haftung mit der IV-Stelle eine Parteientschädigung zu bezahlen (<ref-law> i. V. m. <ref-law>)

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Kantonsgerichts Wallis, Sozialversicherungsrechtliche Abteilung, vom 13. Mai 2014 wird dahingehend abgeändert, dass für die Zeit vom 1. Juni 2012 bis 30. April 2013 eine Verzugszinspflicht in von der Kantonalen IV-Stelle Wallis zu bestimmender Höhe besteht. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 500.-- werden der Kantonalen IV-Stelle Wallis und der Beschwerdegegnerin je zur Hälfte auferlegt.
3.
Das BSV und die Kantonale IV-Stelle Wallis haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'400.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Kantonalen IV-Stelle Wallis und dem Kantonsgericht Wallis schriftlich mitgeteilt.
Luzern, 1. Dezember 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Fessler