Faits: A. Le 13 avril 2012, B._ a formé recours devant le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, contre une décision du 16 mars 2012 par laquelle l'Office de l'assurance-invalidité du canton de Neuchâtel, rejetant la demande de prestations qu'elle avait présentée le 6 juillet 2011, a refusé de lui octroyer les moyens auxiliaires dont elle avait requis la prise en charge (monte-rampes d'escaliers - lift d'escalier à siège). Dans ses observations du 3 mai 2012, l'office AI a conclu au rejet du recours. Le 2 juillet 2012, B._ a présenté une nouvelle demande de prestations de l'assurance-invalidité tendant à l'octroi de moyens auxiliaires. Dans une communication du 18 septembre 2012, l'office AI, entrant en matière sur la demande, a informé l'assurée qu'elle remplissait les conditions du droit à des moyens auxiliaires et qu'il prenait en charge les coûts par 5'700 fr. pour la remise en prêt d'un lift d'escalier à siège. Par lettre du 4 octobre 2012, B._ a avisé la juridiction cantonale que l'office AI avait accepté de prendre en charge les coûts pour la remise en prêt d'un lift d'escalier à siège et que pour ce motif elle retirait le recours. Par décision du 6 novembre 2012, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, a ordonné le classement du recours (ch. 1 du dispositif) et la restitution à B._ de son avance de frais de 440 fr. (ch. 2 du dispositif), mis à la charge de l'office AI les frais de la procédure par 220 fr. (ch. 3 du dispositif) et statué sans dépens (ch. 4 du dispositif). B. L'Office de l'assurance-invalidité du canton de Neuchâtel interjette un recours en matière de droit public contre cette décision, en concluant, sous suite de frais, à son annulation "avec ou sans renvoi à l'instance judiciaire précédente".