Faits:
A. A.a B._, née en 1945, travaillait en qualité de concierge pour les écoles de la commune X._, faisait du gardiennage et s'occupait de travaux ménagers pour un privé. Son taux total d'activité lucrative s'élevait à 85%. Le solde du temps de travail était consacré à l'entretien de son propre ménage.
Le 13 mai 1999, elle a été victime d'un accident de la route, qui a nécessité son hospitalisation jusqu'au lendemain à l'hôpital Y._, où le docteur R._ a diagnostiqué un traumatisme crânio-cérébral et des contusions multiples, en particulier au sternum (rapport du 4 février 2000). La suite du traitement a été prise en charge par le docteur P._, qui a diagnostiqué des contusions multiples ainsi qu'un état dépressif (rapport du 9 décembre 1999). Il a admis une incapacité de travail de 100% du 13 au 30 mai 1999 puis de 75% du 31 mai au 8 juin 1999 (rapport du 8 juin 1999). La doctoresse M._, psychiatre traitant, a retenu le diagnostic d'accident hystéro-traumatique et a fixé l'incapacité de travail à 100% du 8 au 30 juin 1999 et à 50% du 1er juillet au 31 octobre 1999, après quoi la capacité de travail était totale (rapport du 9 novembre 1999). Sur le plan physique, le docteur L._, rhumatologue, a diagnostiqué un syndrome hémialgique droit post-traumatique, dont il a précisé qu'il ne s'agissait pas d'une fibromyalgie classique mais d'un état douloureux de l'hémicorps que l'on retrouve souvent associé à des troubles psychiques (rapport du 1er septembre 1999).
Le 29 juin 2000, B._ a déposé auprès de l'Office cantonal AI du Valais (ci-après : l'office AI) une demande de prestations de l'assurance-invalidité en raison des séquelles de l'accident du 13 mai 1999. Le docteur S._, spécialiste en médecine physique et réadaptation et médecin traitant, a diagnostiqué un syndrome de perturbation sympathique post-traumatique thoracique et un syndrome dépressif réactionnel. Il a constaté une aggravation de l'état de santé de sa patiente et l'a mise en incapacité de travail à 50% jusqu'au 8 novembre 2000 et à 100% dès le 9 novembre 2000 (rapport du 13 novembre 2000).
Par projet d'acceptation de rente du 5 juin 2001, l'office AI a reconnu à B._ le droit à un quart de rente fondé sur un taux d'invalidité de 42% dès le 1er mai 2000. Il a fixé à 57,5% l'incapacité ménagère et à 39,5% l'incapacité dans l'activité lucrative. Pour déterminer cette dernière, il a tenu compte du fait que, dès le 1er juillet 1999, l'assurée avait repris son travail de concierge et que celui-ci lui permettait de réaliser un revenu équivalant à 60,5% du salaire qu'elle aurait réalisé sans invalidité. Par décision du 19 juillet 2001, l'office AI a accordé à l'assurée un quart de rente avec effet au 1er mai 2000. Cette décision est entrée en force. Le 29 janvier 2002, l'office AI a décidé d'octroyer à l'assurée une demi-rente avec effet rétroactif au 1er mai 2000, admettant le cas pénible. Dans le cadre d'une procédure de révision initiée le 12 juin 2002, B._ a informé l'office AI qu'elle avait subi une sympathectomie droite le 21 mai 2002. Le docteur S._ a certifié que cette opération avait conduit à une disparition totale des causalgies décrites par l'assurée. Seul un point thoracique axillaire restait douloureux mais en nette régression après infiltration. De plus, le syndrome dépressif réactionnel avait réagi de façon tout à fait favorable à la prise d'antidépresseurs (rapport du 1er juillet 2002). Cette évolution globalement favorable a été confirmée par ce médecin dans son rapport du 24 octobre 2002.
A.b Le 4 novembre 2003, B._ a chuté sur le dos en marchant sur un sol fraîchement nettoyé (déclaration d'accident du 11 novembre 2003). Dans son rapport médical du 3 janvier 2004 concernant les suites de cette chute, le docteur S._ a diagnostiqué de fortes suspicions de décompensation sympathique gauche suite au premier traumatisme. Il a mis l'assurée en incapacité totale de travail jusqu'au 10 novembre 2003, puis à nouveau à 50%, estimant que ce taux ne pouvait pas être réduit (rapport du 12 janvier 2004). Le 14 janvier 2004, B._ a fait une nouvelle chute suite à une perte d'équilibre. Elle s'est blessée au genou gauche et à la jambe droite. Cet accident n'a occasionné aucun arrêt de travail, l'assurée ayant continué de travailler à 50% (rapport CNA du 24 février 2004).
Par décision du 22 juillet 2004, l'office AI a octroyé à l'assurée une rente entière limitée à la période du 1er juin au 31 octobre 2002 en raison d'une aggravation passagère de l'état de santé. Le droit à un quart de rente a été maintenu à partir du 1er novembre 2002. Cette décision n'a fait l'objet d'aucun recours. Elle est entrée en force.
A.c Le 23 août 2004, B._ a informé l'office AI qu'elle était à nouveau en incapacité totale de travail depuis le 26 avril 2004. L'office AI a considéré ce courrier comme une demande de révision (lettre de l'office AI du 26 août 2004) et est entré en matière sur celui-ci, le docteur I._ du SMR ayant admis qu'une aggravation de l'état de santé suite à l'accident du 4 novembre 2003 était plausible (rapport du 10 décembre 2004).
Le 11 mai 2005, le docteur G._, chirurgien, a procédé à une sympathectomie gauche. Lors d'un entretien du 3 juin 2005, l'assurée a dit revivre suite à cette opération (rapport de la CNA du 9 juin 2005). Le docteur A._, neurologue à l'hôpital Z._, a examiné B._ le 17 août 2005 et a constaté une évolution satisfaisante suite à l'intervention (rapport du 24 août 2005). Par projet de décision du 16 février 2007, l'office AI a rejeté la demande de révision, faute d'aggravation objective de l'état de santé depuis la décision du 22 juillet 2004. Suite à la contestation de l'assurée, l'office AI a confirmé son projet (décision du 2 juillet 2007). B._ a recouru contre cette décision en demandant la mise sur pied d'une expertise pluridisciplinaire. Le Tribunal cantonal valaisan des assurances a fait droit aux conclusions du recours et a retourné le dossier à l'office AI pour compléments d'instruction. Il a estimé que l'état de santé de l'assurée n'avait pas été établi de façon suffisamment précise (jugement du 17 avril 2008).
A.d Pour faire suite au jugement cantonal, l'office AI a demandé au Centre d'expertises médicales J._ une expertise, qui a été confiée aux docteurs E._, médecin-chef, V._, psychiatre, C._, orthopédiste et K._, neurologue. Dans leur rapport du 20 novembre 2008, les experts ont diagnostiqué avec répercussion sur la capacité de travail un antécédent d'accident de la circulation avec contusions sternales et crânio-cérébrales, un syndrome myélopathique dorsal D3-D4 avec syndrome de Brown-Sequard résiduel, une hypercyphose dorsale sur probable ostéoporose et un trouble dégénératif étagé de la colonne cervicale, dorsale et lombaire. Pour les experts, l'antécédent de neurotomie sympathique transthoracique droite en 2002 et gauche en 2005, l'antécédent de chute sur les fesses en novembre 2003, l'antécédent de mise en place d'un neurostimulateur en janvier 2005 (retiré après 2 semaines), l'antécédent de carcinome baso-cellulaire de la tempe gauche, l'herpès simplex de type II récidivant et l'antécédent de phakectomie en 2002 étaient sans répercussion sur la capacité de travail. Ces diverses atteintes rendaient inexigibles l'activité de femme de ménage, de concierge, de ménagère ou toute autre activité nécessitant des efforts ou un travail physique. La capacité résiduelle de travail était de 50% dans une activité totalement sédentaire et sans travail de force.
Le docteur I._, spécialiste en médecine générale au SMR, a fait siennes les conclusions retenues par les experts et a précisé que la chute faite par l'assurée en 2003 et la pose d'un neurostimulateur en 2004 n'avaient pas aggravé son état de santé (rapport du 9 décembre 2008). Par projet de décision du 31 mars 2009, l'office AI a constaté qu'il n'y avait pas eu d'augmentation du taux d'invalidité depuis 1999 et a, en conséquence, rejeté la demande de révision de la rente. Suite à la contestation du projet de décision, le docteur I._ a confirmé son avis du 9 décembre 2008 et a exposé qu'en présence d'un diagnostic somatique expliquant les plaintes, il ne peut plus être question d'un trouble somatoforme douloureux (rapport du 2 juillet 2009). Dans un rapport complémentaire du 30 juillet 2009, le docteur E._ a précisé que la capacité de travail de l'assurée s'était fixée à 50% assez rapidement après l'accident en 1999. En l'absence d'atteinte psychiatrique occasionnant une incapacité de travail, un traitement ou un suivi psychiatrique ne pouvait pas être de nature à améliorer la capacité de travail. Par décision du 4 novembre 2009, l'office AI a confirmé son projet et a refusé une augmentation de la rente.
B. B._ a contesté cette décision auprès du Tribunal cantonal valaisan des assurances (actuellement : la Cour des assurances du Tribunal cantonal) et a produit en procédure une expertise du 19 février 2010, demandée au Service de neurologie de l'Hôpital H._ et effectuée par les docteurs N._ et D._, neurologues, dont il résulte que la capacité de travail de l'assurée est de 50% dans une activité non contraignante physiquement. Par jugement du 14 octobre 2010, la juridiction cantonale a rejeté le recours.
C. B._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation. Elle conclut principalement à l'octroi d'une rente entière d'invalidité et subsidiairement au renvoi de l'affaire à l'autorité inférieure pour instruction complémentaire.
L'office AI a conclu au rejet du recours alors que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2. Est litigieuse, en premier lieu, la question de savoir si la capacité de travail de la recourante a diminué depuis la décision du 22 juillet 2004 de façon telle que son droit à une rente s'en trouve modifié.
3. 3.1 Les juges cantonaux ont retenu, de façon à lier le Tribunal fédéral, que la capacité de travail de la recourante n'avait pas changé depuis la décision de l'intimé du 22 juillet 2004. Pour justifier leur appréciation, ils ont reconnu une pleine valeur probante à l'expertise du Centre d'expertises médicales J._, dont ils déduisent que l'état de santé de la recourante s'est rapidement stabilisé après l'accident du 13 mai 1999 et que, depuis cette époque, sa capacité de travail est de 50%. Dans la mesure où les experts retiennent que l'activité de concierge n'est plus exigible et que la capacité résiduelle de travail de la recourante ne peut être mise en valeur que dans une profession légère et sédentaire, la juridiction considère que l'avis des experts ne constitue qu'une appréciation différente d'un état de santé qui est pour l'essentiel demeuré inchangé et qu'en conséquence il n'existe aucun motif de révision.
3.2 La recourante reproche à la juridiction cantonale une violation des art. 29 al. 2 Cst. et 51 (recte: 61) LPGA. Son droit d'être entendue aurait été lésé et la juridiction cantonale aurait violé la maxime d'office ainsi que les règles sur l'appréciation des preuves en refusant d'ordonner une nouvelle expertise qui aurait pu infirmer celle du Centre d'expertises médicales J._, qui serait lacunaire.
4. 4.1 Selon le principe inquisitoire qui régit la procédure devant le tribunal cantonal des assurances - de même que la procédure administrative (<ref-law>) - dans le domaine des assurances sociales, le juge doit établir d'office les faits déterminants pour la solution du litige, avec la collaboration des parties. Il administre les preuves nécessaires et les apprécie librement (art. 61 let. c LPGA). Il peut toutefois considérer qu'un fait est prouvé et renoncer à de plus amples mesures d'instruction lorsqu'au terme d'un examen objectif, il ne conçoit plus de doutes sérieux sur l'existence de ce fait (cf. <ref-ruling> consid. 3.2 p. 324; arrêt du Tribunal fédéral I 455/06 consid. 4.1 in SVR 2007 IV no 31 p. 111). Si de tels doutes subsistent, il lui appartient de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération. Le cas échéant, il peut renoncer à l'administration d'une preuve s'il acquiert la conviction, au terme d'une appréciation anticipée des preuves, qu'une telle mesure ne pourrait l'amener à modifier son opinion (cf. <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 6c/cc in fine p. 135).
On rappellera aussi que la violation du droit d'être entendu - telle qu'invoquée - ne se différencie pas du grief de mauvaise appréciation des preuves (cf. notamment <ref-ruling> consid. 2.1 p. 429) dès lors qu'un juge peut renoncer à accomplir certains actes d'instruction si, en se fondant sur une appréciation consciencieuse des preuves, il est convaincu que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier son appréciation (sur l'appréciation anticipée des preuves cf. notamment arrêt 9C_986/2008 du 29 mai 2009 consid. 3 et les références).
Le Tribunal fédéral ne peut en général revoir le résultat de l'appréciation anticipée des preuves - et conclure à une violation du principe de la maxime inquisitoire - qu'en cas d'inexactitude manifeste (art. 97 al. 1 et 105 al. 1 et 2 LTF; cf. aussi Meyer in : Niggli/Uebersax/Wiprächtiger [édit], Bundesgerichtsgesetz, Bâle 2008, nos 34a, 60 et note 170 ad art. 105).
4.2 Pour dénier toute valeur probante à l'expertise du Centre d'expertises médicales J._, la recourante allègue que le diagnostic des experts n'avait jamais été posé auparavant et qu'il est contredit par les médecins de l'Hôpital H._. De plus, l'expertise du Centre d'expertises médicales J._ comporterait de nombreuses contradictions en particulier sur les causes de l'incapacité de travail, sur l'exclusion d'un trouble somatoforme douloureux et sur l'existence d'une limitation d'origine psychique pour les activités exigibles.
4.3 S'il est exact que les très nombreux médecins qui se sont prononcés sur l'état de santé de la recourante ne sont pas unanimes sur les diagnostics à retenir, il faut constater que leur approche de l'incidence des atteintes à la santé sur la capacité de travail est constante et concorde avec l'activité effectivement exercée par la recourante après son accident. En effet, dans sa décision initiale d'octroi d'une rente, datant du 5 juin 2001, l'intimé a comparé les heures effectuées avant l'accident (1'695 heures par an pour un emploi du temps à 85%) avec celles effectuées dès le 1er juillet 1999 (966 heures), ce qui représente environ 57%. En raison d'une chute le 4 novembre 2003, le docteur S._ a d'abord mis la recourante en incapacité de travail à 100% puis à 50% dès le 11 novembre 2003 (rapport du 12 janvier 2004). La CNA a pour sa part constaté qu'une nouvelle chute le 14 janvier 2004 n'avait pas occasionné d'arrêt de travail, l'assurée continuant de travailler à 50% (rapport CNA du 24 février 2004). C'est sur la base de cet état de fait que l'intimé a rendu sa décision du 22 juillet 2004 par laquelle il a confirmé l'octroi d'un quart de rente.
Dans le cadre d'une procédure de révision demandée par la recourante le 23 août 2004, l'intimé a confié une expertise pluridisciplinaire au Centre d'expertises médicales J._. Les experts sont arrivés à la conclusion que l'activité professionnelle de concierge ou une activité ménagère n'étaient plus exigibles et que la capacité résiduelle de travail était de 50% dans une activité adaptée (expertise des docteurs E._, V._, C._ et K._ du 20 novembre 2008). Cet avis a été repris par le docteur I._ du SMR (rapport du 9 décembre 2008).
Enfin, la recourante a produit une expertise qu'elle a demandée aux docteurs N._ et D._, du Service de neurologie de l'Hôpital H._ et de laquelle il ressort que sa capacité résiduelle de travail est de 50% dans une activité non contraignante physiquement (rapport du 19 février 2010).
Il résulte de ces différents éléments que la juridiction cantonale pouvait sans arbitraire retenir que la capacité résiduelle de travail de la recourante était de 50%.
5. 5.1 B._ considère que l'ensemble des données médicales du dossier devrait conduire à l'admission d'un motif de révision. En particulier, elle ne pourrait plus exercer l'activité de concierge et toutes activités ménagères seraient exclues, ce qui augmenterait son taux d'invalidité.
5.2 Pour la juridiction cantonale, le fait qu'un travail de conciergerie et des travaux ménagers ne sont plus exigibles, ne représente pas une péjoration de la situation mais une appréciation différente d'un état de fait inchangé, qui ne peut pas justifier une révision.
5.3 Cette argumentation n'est pas convaincante. En effet, les experts du Centre d'expertises médicales J._, dont l'avis a été confirmé par le docteur I._ du SMR et les experts de l'Hôpital H._, admettent des limitations fonctionnelles liées aux déplacements et aux ports de charges. Celles-ci n'existaient pas lorsque l'intimé a rendu sa décision du 22 juillet 2004. On ne peut donc pas les considérer comme une simple appréciation différente d'un état de santé inchangé, du seul fait que la capacité de travail serait restée la même. En effet, la rente peut être révisée non seulement en cas de modification sensible de l'état de santé, mais aussi lorsque celui-ci est resté en soi le même, mais que ses conséquences sur la capacité de gain ont subi un changement important (<ref-ruling> consid. 6.1 p. 546, 130 V 343 consid. 3.5 p. 349). S'il faut admettre que la capacité de travail est restée de 50%, il faut constater que le type d'activité exigible s'est modifié en ce sens que toutes les activités de force ou nécessitant des déplacements sont exclues. Il reste donc à examiner si le fait de ne plus pouvoir exercer une activité de concierge et certaines activités ménagères, est de nature à modifier le taux d'invalidité.
6. 6.1 La recourante estime que son taux d'invalidité se situerait entre 51% et 69.4%. Pour déterminer le taux minimum, elle a pris en compte un taux d'incapacité médicale de travail de 50%, ce qui donne pour une activité à 85%, un taux d'invalidité de 42.5%, auquel il y aurait lieu d'ajouter le taux d'invalidité ménagère admis par l'intimé de 8.5%. Le taux total d'invalidité serait donc de 51% et donnerait droit à une demi-rente. Dans un autre calcul, la recourante estime que son taux d'incapacité professionnelle ne serait pas de 50% mais de 64%. Elle arrive à ce chiffre en se fondant sur l'expertise du Centre d'expertises médicales J._, qui lui reconnaît une capacité à rester attentive et concentrée sur un travail n'excédant pas 3 à 4 heures par jour. Sur cette base, elle a retenu qu'une activité de 3 heures par jour, rapportée à un emploi à plein temps en moyenne suisse de 41.6 heures/semaine ou 8.32 heures/jour, représenterait 64% d'incapacité de travail. Avec un taux d'activité professionnelle de 85%, le taux d'invalidité se monterait à 54.4% auquel il faudrait ajouter une incapacité totale dans l'activité ménagère soit 15%. Ainsi, elle arrive à un taux d'invalidité de 69.4% lui donnant droit à une rente entière.
6.2 La juridiction cantonale n'a pas abordé ces questions. Elle s'est limitée à préciser que le taux d'invalidité fixé par les décisions de l'intimé en 2001 et 2004 aurait été le même si, à l'époque, il avait été fixé sur la base des éléments médicaux de l'expertise du Centre d'expertises médicales J._ et sur les salaires déterminés par l'enquête sur la structure des salaires (ESS).
6.3 Cet argument n'est pas déterminant et partiellement inexact puisque l'expertise du Centre d'expertises médicales J._ exclut certaines activités qui étaient encore exercées en 2004 par la recourante.
Le calcul du taux d'invalidité de la recourante au moment de la décision de révision doit s'effectuer en comparant le salaire qu'elle aurait réalisé sans invalidité et celui qu'elle est encore à même d'obtenir compte tenu de son état de santé. L'évaluation du salaire d'invalide doit avoir lieu sur la base des chiffres de l'ESS, puisqu'elle n'a pas repris le travail depuis mars 2005. La comparaison ne peut toutefois pas être faite par l'Autorité de céans car le dossier ne contient pas les éléments nécessaires pour fixer le salaire sans invalidité au moment de la demande en révision.
La recourante n'ayant pas apporté la preuve que le taux d'incapacité de travail fixé par la juridiction cantonale à 50%, était manifestement inexact ou erroné, il y aura lieu de partir de ce taux pour calculer le revenu d'invalide. L'intimé devra cependant examiner l'argument développé par la recourante en procédure fédérale (cf. recours, p. 22) selon lequel, compte tenu des circonstances, son âge s'opposerait à la mise en valeur de sa capacité de travail (cf. notamment arrêts 9C_918/2008 du 28 mai 2009 consid. 4.2.2, 9C_437/2008 du 19 mars 2009 consid. 4 in SVR 2009 IV n° 35 p. 97 et I 819/04 du 27 mai 2005 consid. 2.2 et les références), même si l'on retenait, comme moment déterminant - en application de l'<ref-law> -, août 2004.
Enfin, il se justifie de réexaminer la capacité de travail dans l'activité ménagère en fonction des conclusions de l'expertise du Centre d'expertises médicales J._.
Au vu de ce qui précède, l'affaire doit être retournée à l'intimé pour qu'il calcule le taux d'invalidité après avoir complété le dossier.
Le recours est dès lors admis.
7. Vu l'issue du litige, les frais et dépens de la procédure sont mis à la charge de l'intimé qui succombe (art. 66 al. 1 et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal valaisan du 14 octobre 2010 et la décision de l'Office cantonal AI du Valais du 4 novembre 2009 sont annulés. La cause est renvoyée à l'Office cantonal AI du Valais pour complément d'instruction au sens des considérants et nouvelle décision.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée à la Cour des assurances sociales du Tribunal cantonal valaisan pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er septembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat