Faits:
A. Par décision du 17 octobre 2006, l'Office de l'assurance-invalidité du canton de Neuchâtel a rejeté la demande de prestations tendant à l'octroi d'une rente présentée par L._ le 19 mars 2004, au motif qu'aucune limitation fonctionnelle diminuant sa capacité de travail n'avait pu être objectivée.
B. Statuant sur le recours formé par L._ contre cette décision, le Tribunal administratif de la République et canton de Neuchâtel, par jugement du 8 mars 2007, a annulé celle-ci et renvoyé la cause à l'office AI au sens des considérants (ch. 2 du dispositif), pour qu'il mandate un nouvel expert médical à l'effet d'élucider la question de la capacité de travail exigible de l'assurée sur le plan strictement physique dans une activité professionnelle (consid. 4). Il a mis à la charge de l'office AI un émolument de décision de 300 fr. et les débours forfaitaires par 60 fr. (ch. 3 du dispositif), et alloué à L._ une indemnité de dépens de 1'000 fr. (ch. 4 du dispositif).
C. L'Office de l'assurance-invalidité du canton de Neuchâtel interjette un recours en matière de droit public contre ce jugement, en concluant à l'annulation de celui-ci. Il demande que la décision du 17 octobre 2006 soit confirmée.

Considérant en droit:
1. En tant qu'il renvoie la cause à l'administration pour complément d'instruction, le jugement entrepris constitue une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 4.2 p. 481 [9C_15/2007]). Le recours contre une telle décision n'est recevable que si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>). Si le recours n'est pas recevable au regard de ces conditions ou s'il n'a pas été utilisé, la décision incidente peut être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (<ref-law>).
1.1 Un préjudice irréparable au sens de l'<ref-law> est un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 4 p. 141, 288 consid. 3.1 p. 291). En revanche, un dommage de pur fait, comme la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme irréparable (<ref-ruling> consid. 1 p. 59 et les arrêts cités). Le renvoi de la cause à l'office AI pour instruction complémentaire et nouvelle décision ne cause un dommage irréparable à l'administration que dans la mesure où la décision de renvoi comporte des instructions sur la manière dont elle devra trancher certains aspects du rapport litigieux, restreignant ainsi de manière importante sa latitude de jugement, et qu'elle ne peut plus, en conséquence, s'en écarter (<ref-ruling> consid. 5.2 p. 483). Tel est le cas, par exemple, lorsque l'autorité cantonale de recours retient une méthode d'évaluation d'invalidité différente de celle appliquée par l'office AI (consid. 1.2 non publié de l'arrêt <ref-ruling> [I 126/07]). En revanche, les décisions relatives à l'administration des preuves ne sont en principe pas de nature à causer aux intéressés un dommage juridique irréparable (<ref-ruling> consid. 5.2.2 p. 483), qu'il s'agisse de décisions refusant ou, comme en l'espèce, ordonnant la mise en oeuvre d'un moyen de preuve déterminé. En particulier, le fait que la décision de renvoi procéderait d'une constatation manifestement inexacte des faits pertinents - question que le Tribunal fédéral n'examine qu'avec retenue - ne saurait être constitutif d'un dommage qui ne pourrait plus être réparé en cours de procédure (arrêt 9C_446/2007 du 5 décembre 2007, consid. 2).
1.2 L'ouverture du recours, prévue pour des motifs d'économie de procédure (<ref-law>), contre une décision incidente constitue une exception et doit être interprétée de manière restrictive, d'autant plus que les parties ne subissent aucun préjudice lorsqu'elles n'attaquent pas immédiatement de telles décisions, qu'elles peuvent contester en même temps que la décision finale (<ref-law>). Le Tribunal fédéral examine librement le point de savoir si l'admission du recours permettrait d'éviter une procédure d'administration des preuves longue et coûteuse. En particulier, le Tribunal fédéral a précisé que le renvoi de la cause à l'office AI pour instruction complémentaire et nouvelle décision ne se confondait en principe pas avec une procédure probatoire prenant un temps considérable et exigeant des frais importants (arrêt mentionné ci-dessus 9C_446/2007 du 5 décembre 2007, consid. 3 et les arrêts cités).
2. 2.1 La question de la fibromyalgie a été tranchée par les premiers juges, qui ont nié que cette affection ait un caractère invalidant. Elle n'est pas l'objet de la décision de renvoi, qui concerne l'aspect strictement physique.
2.2 La juridiction cantonale a constaté qu'en présence de deux évaluations contradictoires et insuffisamment motivées, elle n'était pas en situation d'apprécier si et dans quelle mesure une activité professionnelle demeurait exigible de la part de l'intimée, au regard de l'affection physique dont elle est atteinte. Ce point devait être éclairci, d'autant plus que l'intéressée est manifestement capable d'assumer certaines tâches dans le cadre de son ménage. Ces constatations de fait de la juridiction de première instance lient la Cour de céans (<ref-law>; arrêt I 818/06 du 24 janvier 2007).
3. Les premiers juges ont renvoyé la cause à l'office AI pour qu'il mandate un nouvel expert médical à l'effet d'élucider la question de la capacité de travail exigible de l'intimée sur le plan strictement physique dans une activité professionnelle.
3.1 Le recourant n'invoque aucun préjudice irréparable. Selon lui, il n'existe aucune raison de procéder à une nouvelle expertise, attendu que l'avis du SMR du 24 novembre 2005 doit être suivi, qui explique pourquoi on ne saurait retenir que l'intimée soit invalide et pour quelles raisons on ne saurait suivre totalement les conclusions de l'expert B._ dans son rapport du 21 juillet 2005.
La condition du préjudice irréparable prévue à l'<ref-law> n'est pas remplie. La décision de renvoi, même si elle procédait d'une constatation manifestement inexacte des faits pertinents, ne constituerait pas un dommage ne pouvant plus être réparé en procédure au sens de cette disposition légale (supra, consid. 1.1). En effet, le renvoi de la cause au recourant pour instruction complémentaire ne restreint pas sa latitude de jugement. Après exécution de la mesure d'instruction ordonnée par la juridiction cantonale, le recourant devra se prononcer sur la capacité de travail exigible de l'intimée sur le plan strictement physique dans une activité professionnelle.
3.2 En ce qui concerne la deuxième éventualité prévue à l'<ref-law>, on ne voit pas que la mesure probatoire consistant à élucider la question de la capacité de travail exigible sur le plan strictement physique dans une activité professionnelle puisse entraîner une procédure longue et coûteuse (par exemple arrêt 9C_469/2007 du 5 mars 2008).
3.3 Il résulte de ce qui précède que les conclusions du recourant visant à annuler le renvoi de la cause pour instruction complémentaire sont irrecevables.
4. Les conclusions du recourant visent également à annuler les ch. 3 et 4 du dispositif du jugement attaqué, relatifs aux frais et dépens de l'instance cantonale.
4.1 En tant qu'il fixe et répartit les frais et dépens de l'instance cantonale (ch. 3 et 4 du dispositif), le jugement de renvoi attaqué constitue également une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 2.1 p. 647 [9C_352/2007]). En l'espèce, il y a lieu de nier la condition du dommage irréparable (<ref-law>; supra, consid. 1.1) déjà dans la mesure où le Tribunal fédéral ne peut pas se prononcer sur la répartition des frais (et dépens) sans examiner à titre préjudiciel le bien-fondé du renvoi, ce qui n'est pas admissible (<ref-ruling> consid. 2.1 p. 647 et les arrêts cités). Quant à la seconde éventualité (<ref-law>; supra, consid. 1.2), elle n'entre pas en ligne de compte, puisqu'un arrêt du Tribunal fédéral sur la répartition des frais en instance cantonale ne conduirait pas à une décision finale sur le fond.
4.2 Il s'ensuit que les conclusions du recourant portant sur l'annulation des ch. 3 et 4 du dispositif du jugement attaqué relatifs aux frais et dépens de l'instance cantonale sont également irrecevables. La décision de la juridiction cantonale sur la fixation et la répartition des frais et dépens de la procédure cantonale dans le jugement de renvoi pourra être attaquée par un recours dirigé contre la décision finale (<ref-law>; voir aussi <ref-ruling> consid. 2.2 p. 648 in fine).
5. Vu l'issue du recours, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Le dépôt du recours par l'office AI n'a pas occasionné de frais à l'intimée car elle n'a pas été invitée à répondre, de sorte qu'il n'y a pas matière à lui allouer des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, au Tribunal administratif de la République et canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 8 avril 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner