Faits:
A. Le 13 avril 2012, B._ a formé recours devant le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, contre une décision du 16 mars 2012 par laquelle l'Office de l'assurance-invalidité du canton de Neuchâtel, rejetant la demande de prestations qu'elle avait présentée le 6 juillet 2011, a refusé de lui octroyer les moyens auxiliaires dont elle avait requis la prise en charge (monte-rampes d'escaliers - lift d'escalier à siège). Dans ses observations du 3 mai 2012, l'office AI a conclu au rejet du recours.
Le 2 juillet 2012, B._ a présenté une nouvelle demande de prestations de l'assurance-invalidité tendant à l'octroi de moyens auxiliaires. Dans une communication du 18 septembre 2012, l'office AI, entrant en matière sur la demande, a informé l'assurée qu'elle remplissait les conditions du droit à des moyens auxiliaires et qu'il prenait en charge les coûts par 5'700 fr. pour la remise en prêt d'un lift d'escalier à siège.
Par lettre du 4 octobre 2012, B._ a avisé la juridiction cantonale que l'office AI avait accepté de prendre en charge les coûts pour la remise en prêt d'un lift d'escalier à siège et que pour ce motif elle retirait le recours. Par décision du 6 novembre 2012, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, a ordonné le classement du recours (ch. 1 du dispositif) et la restitution à B._ de son avance de frais de 440 fr. (ch. 2 du dispositif), mis à la charge de l'office AI les frais de la procédure par 220 fr. (ch. 3 du dispositif) et statué sans dépens (ch. 4 du dispositif).
B. L'Office de l'assurance-invalidité du canton de Neuchâtel interjette un recours en matière de droit public contre cette décision, en concluant, sous suite de frais, à son annulation "avec ou sans renvoi à l'instance judiciaire précédente".

Considérant en droit:
1. La décision entreprise doit être qualifiée de finale, puisqu'elle met fin à l'instance (<ref-law>); elle a été rendue par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par l'office AI qui a un intérêt juridique à son annulation (<ref-law>) en tout cas en ce qui concerne les frais mis à sa charge, le recours est recevable.
2. 2.1 Le recours en matière de droit public (art. 82 s. LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Il statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause.
2.2 Les frais de la procédure cantonale relèvent uniquement du droit cantonal. Le Tribunal fédéral examine si la décision sur les frais de la procédure cantonale a conduit à une violation du droit fédéral (<ref-law>). Pratiquement, seule l'interdiction de l'arbitraire entre en considération (cf. arrêts 9C_672/2008 du 23 octobre 2008 consid. 5.2.1, 8C_393/2008 du 24 septembre 2008 consid. 4.3 et 9C_911/2007 du 23 juin 2008 consid. 2.2.1 et 2.2.2).
3. 3.1 Le recourant soulève une violation par la juridiction cantonale de son droit d'être entendu, singulièrement lui reproche d'avoir enfreint l'obligation de motivation issue de l'art. 29 al. 2 Cst.
Même sous l'angle restreint de l'arbitraire, la contestation d'une décision suppose que celle-ci comporte une motivation prenant en compte tous les éléments déterminants (<ref-law>). Ce devoir de motivation est également déduit du droit d'être entendu fixé à l'art. 29 al. 2 Cst. La jurisprudence impose au juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 4.1 p. 88, 133 III 439 consid. 3.3 p. 445). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté (arrêt 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434).
La décision entreprise ne mentionne pas, même brièvement, les motifs concrets pour lesquels l'office AI est la partie qui succombe selon l'art. 47 al. 1 de la loi neuchâteloise sur la procédure et la juridiction administratives (LPJA) [RSN 152.130]. Elle indique que si la procédure de recours se termine sans jugement parce que le litige est devenu sans objet, les frais de la procédure doivent être fixés en fonction de l'issue probable du litige, telle qu'elle se présentait à ce stade de l'instruction, une situation qui peut survenir notamment dans le cas de la reconsidération de la décision pendant la procédure. Ce considérant, formulé de manière générale et abstraite, n'explique pas pourquoi l'office AI est la partie qui succombe. La juridiction cantonale a sur ce point enfreint le droit du recourant d'obtenir une décision motivée.
3.2 Le retrait du recours équivaut dans son résultat au rejet de celui-ci (arrêts [du Tribunal fédéral des assurances] U 134/94 du 23 août 1995 consid. 3b in SVR 1996 UV Nr. 40 p. 124, H 301/92 du 25 février 1994 consid. 4a in VSI 1994 p. 189; arrêt 9C_129/2012 du 1er mars 2012). C'est pourquoi, en principe, l'office AI devrait être tenu comme étant la partie qui a obtenu gain de cause devant la juridiction cantonale. Ce principe souffre toutefois une exception si l'office AI reconsidère sa décision initiale. Il importe dès lors de savoir si le recourant s'est fondé sur l'état de fait de la décision du 16 mars 2012 pour reconsidérer celle-ci ou s'il s'est fondé sur un état de fait différent pour rendre dans sa communication à l'assurée du 18 septembre 2012 une décision indépendante de la décision du 16 mars 2012. Dans cette mesure, la décision entreprise est arbitraire (<ref-ruling> consid. 4.1 p. 133; <ref-ruling> consid. 3.1 p. 153 et les arrêts cités) en ce qu'elle ne constate rien sur l'état de fait ayant amené au retrait du recours. Dans ses considérants, elle mentionne la nouvelle demande du 2 juillet 2012 présentée par l'assurée et la communication de l'office AI du 18 septembre 2012. Toutefois, la décision entreprise ne contient aucune constatation sur l'état de fait postérieur à la décision de l'office AI du 16 mars 2012, tel qu'il a motivé la nouvelle demande. Il se justifie dès lors d'annuler la décision entreprise et de renvoyer la cause à la juridiction cantonale pour qu'elle établisse les faits ayant motivé la nouvelle demande du 2 juillet 2012 et ceux qui ont amené au retrait du recours et statue à nouveau.
4. Vu le sort du litige, la requête d'effet suspensif n'a plus d'objet.
En application de l'art. 66 al. 1, 2ème phrase, LTF, il convient de renoncer à la perception des frais judiciaires, vu les circonstances.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que la décision du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 6 novembre 2012 est annulée, la cause étant renvoyée à l'autorité judiciaire de première instance pour qu'elle statue à nouveau en procédant conformément aux considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 février 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Wagner