Faits:
A. A._, née en 1973, a présenté le 27 juillet 2009 une demande de prestations de l'assurance-invalidité, en requérant l'octroi de mesures pour une réadaptation professionnelle et d'une rente d'invalidité. Dans une expertise pluridisciplinaire du 13 janvier 2010 effectuée par le Centre X._ pour le compte de l'assureur perte de gain, les docteurs R._ (spécialiste FMH en psychiatrie-psychothérapie) et H._ (spécialiste FMH en neurologie) ont posé le diagnostic de céphalées mixtes vasomotrices, tensionnelles et probablement médicamenteuses et conclu que la capacité de travail "actuelle" de l'assurée était de 50 % d'un plein temps (ceci en raison de l'absentéisme possible lié aux épisodes de maux de tête particulièrement importants). Ils ont considéré qu'en principe, après optimalisation du traitement médicamenteux, il devrait être possible d'obtenir une reprise du travail complète (80 %). Dans un préavis du 31 mars 2010, l'Office de l'assurance-invalidité du canton de Fribourg a rejeté la demande en ce qui concerne le droit de l'assurée à une rente d'invalidité, aux motifs qu'il devrait découler de l'optimalisation du traitement médicamenteux une meilleure gestion des maux de tête dont elle était atteinte et en conséquence une meilleure capacité de travail et que de toute manière la perte de gain serait inférieure au taux de 40 % donnant droit à un quart de rente d'invalidité. Par décision du 28 mai 2010, il a refusé d'allouer à A._ une rente d'invalidité, pour les motifs exposés dans son préavis du 31 mars 2010.
B. Par arrêt du 5 septembre 2012, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, admettant le recours formé par A._ contre cette décision, l'a annulée et a renvoyé le dossier à l'Office de l'assurance-invalidité du canton de Fribourg pour nouvelle décision.
C. L'Office de l'assurance-invalidité du canton de Fribourg interjette un recours en matière de droit public contre ce jugement, dont il conclut à l'annulation, la décision de refus de rente d'invalidité du 28 mai 2010 étant rétablie.

Considérant en droit:
1. Le jugement entrepris, en tant qu'il renvoie la cause à l'office AI pour instruction complémentaire (consid. 3d), constitue une décision incidente, contre laquelle un recours n'est recevable qu'aux conditions de l'<ref-law> (<ref-ruling> consid. 1.1 p. 143, 133 V 477 consid. 4.2 p. 481 s.), soit si la décision incidente peut causer un préjudice irréparable (al. 1 let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (al. 1 let. b). On relèvera que l'<ref-law> n'entre pas ici en considération.
2. Il appartient au recourant d'indiquer en quoi, dans le cas concret, la décision incidente peut causer un préjudice irréparable. Cela correspond à la jurisprudence constante relative à l'<ref-law>, selon laquelle la partie recourante doit exposer en détail en quoi les conditions de recevabilité du recours d'après cette disposition sont réalisées, sinon, à défaut d'une motivation suffisante qui réponde aux exigences de l'art. 42 al. 1 et 2 LTF, il n'y a pas lieu d'entrer en matière sur le recours (<ref-ruling> consid. 1.1 p. 327 s., 134 III 426 consid. 1.2 p. 428 s., 133 III 629 consid. 2.3.1 p. 632 et consid. 2.4.2 p. 633).
2.1 Il y a préjudice irréparable au sens de l'<ref-law> si une administration est obligée par une décision de l'autorité supérieure de statuer dans un sens qui lui paraît contraire au droit (<ref-ruling> consid. 1.3 p. 128, 134 III 136 consid. 1.2 p. 138, 134 V 97 consid. 1.2.3 p. 101, 133 V 477 consid. 5.2 p. 483 s.; BERNARD CORBOZ, in: Commentaire de la LTF, 2009, ad <ref-law> n° 17 p. 905).
2.2 Le recourant fait valoir que le jugement entrepris, en renvoyant la cause pour complément d'instruction, l'oblige à statuer dans un sens qui lui paraît contraire au droit. Il reproche à la juridiction cantonale de n'avoir pas respecté la notion d'invalidité aux <ref-law> et 8 LPGA ni la jurisprudence en matière de troubles somatoformes douloureux (<ref-ruling>, 130 V 352 et 396) et en matière de fibromyalgie (<ref-ruling>). Il expose que dans le cas particulier le renvoi de la cause pour instruction complémentaire peut causer un préjudice irréparable, attendu que même si le recourant complétait le dossier médical - dont il affirme qu'il est clair et suffisamment motivé pour prendre position sur le plan juridique -, le jugement entrepris tel qu'il est motivé l'obligerait à rendre une décision violant les dispositions légales et la jurisprudence mentionnées ci-dessus et cette violation ne pourrait plus être réparée ultérieurement vu que l'office AI se trouverait dans l'impossibilité de recourir devant le Tribunal cantonal.
2.3 Le jugement entrepris, en renvoyant la cause à l'office AI pour instruction complémentaire et nouvelle décision, ne peut causer de préjudice irréparable. Il laisse au recourant toute latitude de jugement en ce qui concerne le droit de l'intimée à une rente d'invalidité. Même si l'office AI conteste la nécessité d'une instruction complémentaire, celui-ci ne démontre pas qu'il soit obligé de statuer dans un sens contraire au droit (<ref-ruling> consid. 1.3 p. 127 s.). Les premiers juges ont en effet considéré qu'ils ne pouvaient en l'état du dossier se prononcer sur les migraines de l'intimée dont parle le recourant, ni sur leur incidence sur la capacité de travail et de gain de l'assurée. La jurisprudence en matière de troubles somatoformes douloureux et en matière de fibromyalgie citée par le recourant ne change rien en ce qui concerne les conditions d'entrée en matière. Le jugement entrepris, en renvoyant la cause au recourant pour instruction complémentaire sur différents points et nouvelle décision sur le droit de l'intimée à une rente d'invalidité, ne peut causer un préjudice irréparable au sens de l'<ref-law>.
3. Pour justifier un recours immédiat, il ne suffit pas que la décision du Tribunal fédéral puisse mettre fin immédiatement à la procédure, il faut encore que cette décision permette d'éviter une procédure longue et coûteuse (BERNARD CORBOZ, in op. cit., ad <ref-law> n° 30 p. 909). Selon la jurisprudence (par exemple arrêt 9C_446/2007 du 5 décembre 2007, consid. 3), le renvoi de la cause à l'office AI pour instruction complémentaire et nouvelle décision ne se confond en principe pas avec une procédure probatoire prenant un temps considérable et exigeant des frais importants. Le recourant n'établit pas que cette seconde condition de l'<ref-law> soit réalisée dans le cas particulier.
4. En raison de son caractère accessoire, la décision sur les frais et dépens (ch. II et III du dispositif du jugement entrepris) ne cause pas non plus au recourant un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 2.1 p. 647). Sous l'angle de l'<ref-law>, on relèvera qu'un arrêt du Tribunal fédéral sur la répartition des frais et dépens en instance cantonale ne conduirait pas à une décision finale sur le fond.
5. Les conditions de l'<ref-law> ne sont dès lors manifestement pas réalisées en l'espèce. Le recours doit être déclaré irrecevable, selon la procédure simplifiée de l'<ref-law>. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Le dépôt du recours par l'office AI n'a pas occasionné de frais à l'intimée car elle n'a pas été invitée à répondre, de sorte qu'il n'y a pas matière à lui allouer des dépens.

Par ces motifs, le Président prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 16 novembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner