Faits: A. A.a B._, née en 1945, travaillait en qualité de concierge pour les écoles de la commune X._, faisait du gardiennage et s'occupait de travaux ménagers pour un privé. Son taux total d'activité lucrative s'élevait à 85%. Le solde du temps de travail était consacré à l'entretien de son propre ménage. Le 13 mai 1999, elle a été victime d'un accident de la route, qui a nécessité son hospitalisation jusqu'au lendemain à l'hôpital Y._, où le docteur R._ a diagnostiqué un traumatisme crânio-cérébral et des contusions multiples, en particulier au sternum (rapport du 4 février 2000). La suite du traitement a été prise en charge par le docteur P._, qui a diagnostiqué des contusions multiples ainsi qu'un état dépressif (rapport du 9 décembre 1999). Il a admis une incapacité de travail de 100% du 13 au 30 mai 1999 puis de 75% du 31 mai au 8 juin 1999 (rapport du 8 juin 1999). La doctoresse M._, psychiatre traitant, a retenu le diagnostic d'accident hystéro-traumatique et a fixé l'incapacité de travail à 100% du 8 au 30 juin 1999 et à 50% du 1er juillet au 31 octobre 1999, après quoi la capacité de travail était totale (rapport du 9 novembre 1999). Sur le plan physique, le docteur L._, rhumatologue, a diagnostiqué un syndrome hémialgique droit post-traumatique, dont il a précisé qu'il ne s'agissait pas d'une fibromyalgie classique mais d'un état douloureux de l'hémicorps que l'on retrouve souvent associé à des troubles psychiques (rapport du 1er septembre 1999). Le 29 juin 2000, B._ a déposé auprès de l'Office cantonal AI du Valais (ci-après : l'office AI) une demande de prestations de l'assurance-invalidité en raison des séquelles de l'accident du 13 mai 1999. Le docteur S._, spécialiste en médecine physique et réadaptation et médecin traitant, a diagnostiqué un syndrome de perturbation sympathique post-traumatique thoracique et un syndrome dépressif réactionnel. Il a constaté une aggravation de l'état de santé de sa patiente et l'a mise en incapacité de travail à 50% jusqu'au 8 novembre 2000 et à 100% dès le 9 novembre 2000 (rapport du 13 novembre 2000). Par projet d'acceptation de rente du 5 juin 2001, l'office AI a reconnu à B._ le droit à un quart de rente fondé sur un taux d'invalidité de 42% dès le 1er mai 2000. Il a fixé à 57,5% l'incapacité ménagère et à 39,5% l'incapacité dans l'activité lucrative. Pour déterminer cette dernière, il a tenu compte du fait que, dès le 1er juillet 1999, l'assurée avait repris son travail de concierge et que celui-ci lui permettait de réaliser un revenu équivalant à 60,5% du salaire qu'elle aurait réalisé sans invalidité. Par décision du 19 juillet 2001, l'office AI a accordé à l'assurée un quart de rente avec effet au 1er mai 2000. Cette décision est entrée en force. Le 29 janvier 2002, l'office AI a décidé d'octroyer à l'assurée une demi-rente avec effet rétroactif au 1er mai 2000, admettant le cas pénible. Dans le cadre d'une procédure de révision initiée le 12 juin 2002, B._ a informé l'office AI qu'elle avait subi une sympathectomie droite le 21 mai 2002. Le docteur S._ a certifié que cette opération avait conduit à une disparition totale des causalgies décrites par l'assurée. Seul un point thoracique axillaire restait douloureux mais en nette régression après infiltration. De plus, le syndrome dépressif réactionnel avait réagi de façon tout à fait favorable à la prise d'antidépresseurs (rapport du 1er juillet 2002). Cette évolution globalement favorable a été confirmée par ce médecin dans son rapport du 24 octobre 2002. A.b Le 4 novembre 2003, B._ a chuté sur le dos en marchant sur un sol fraîchement nettoyé (déclaration d'accident du 11 novembre 2003). Dans son rapport médical du 3 janvier 2004 concernant les suites de cette chute, le docteur S._ a diagnostiqué de fortes suspicions de décompensation sympathique gauche suite au premier traumatisme. Il a mis l'assurée en incapacité totale de travail jusqu'au 10 novembre 2003, puis à nouveau à 50%, estimant que ce taux ne pouvait pas être réduit (rapport du 12 janvier 2004). Le 14 janvier 2004, B._ a fait une nouvelle chute suite à une perte d'équilibre. Elle s'est blessée au genou gauche et à la jambe droite. Cet accident n'a occasionné aucun arrêt de travail, l'assurée ayant continué de travailler à 50% (rapport CNA du 24 février 2004). Par décision du 22 juillet 2004, l'office AI a octroyé à l'assurée une rente entière limitée à la période du 1er juin au 31 octobre 2002 en raison d'une aggravation passagère de l'état de santé. Le droit à un quart de rente a été maintenu à partir du 1er novembre 2002. Cette décision n'a fait l'objet d'aucun recours. Elle est entrée en force. A.c Le 23 août 2004, B._ a informé l'office AI qu'elle était à nouveau en incapacité totale de travail depuis le 26 avril 2004. L'office AI a considéré ce courrier comme une demande de révision (lettre de l'office AI du 26 août 2004) et est entré en matière sur celui-ci, le docteur I._ du SMR ayant admis qu'une aggravation de l'état de santé suite à l'accident du 4 novembre 2003 était plausible (rapport du 10 décembre 2004). Le 11 mai 2005, le docteur G._, chirurgien, a procédé à une sympathectomie gauche. Lors d'un entretien du 3 juin 2005, l'assurée a dit revivre suite à cette opération (rapport de la CNA du 9 juin 2005). Le docteur A._, neurologue à l'hôpital Z._, a examiné B._ le 17 août 2005 et a constaté une évolution satisfaisante suite à l'intervention (rapport du 24 août 2005). Par projet de décision du 16 février 2007, l'office AI a rejeté la demande de révision, faute d'aggravation objective de l'état de santé depuis la décision du 22 juillet 2004. Suite à la contestation de l'assurée, l'office AI a confirmé son projet (décision du 2 juillet 2007). B._ a recouru contre cette décision en demandant la mise sur pied d'une expertise pluridisciplinaire. Le Tribunal cantonal valaisan des assurances a fait droit aux conclusions du recours et a retourné le dossier à l'office AI pour compléments d'instruction. Il a estimé que l'état de santé de l'assurée n'avait pas été établi de façon suffisamment précise (jugement du 17 avril 2008). A.d Pour faire suite au jugement cantonal, l'office AI a demandé au Centre d'expertises médicales J._ une expertise, qui a été confiée aux docteurs E._, médecin-chef, V._, psychiatre, C._, orthopédiste et K._, neurologue. Dans leur rapport du 20 novembre 2008, les experts ont diagnostiqué avec répercussion sur la capacité de travail un antécédent d'accident de la circulation avec contusions sternales et crânio-cérébrales, un syndrome myélopathique dorsal D3-D4 avec syndrome de Brown-Sequard résiduel, une hypercyphose dorsale sur probable ostéoporose et un trouble dégénératif étagé de la colonne cervicale, dorsale et lombaire. Pour les experts, l'antécédent de neurotomie sympathique transthoracique droite en 2002 et gauche en 2005, l'antécédent de chute sur les fesses en novembre 2003, l'antécédent de mise en place d'un neurostimulateur en janvier 2005 (retiré après 2 semaines), l'antécédent de carcinome baso-cellulaire de la tempe gauche, l'herpès simplex de type II récidivant et l'antécédent de phakectomie en 2002 étaient sans répercussion sur la capacité de travail. Ces diverses atteintes rendaient inexigibles l'activité de femme de ménage, de concierge, de ménagère ou toute autre activité nécessitant des efforts ou un travail physique. La capacité résiduelle de travail était de 50% dans une activité totalement sédentaire et sans travail de force. Le docteur I._, spécialiste en médecine générale au SMR, a fait siennes les conclusions retenues par les experts et a précisé que la chute faite par l'assurée en 2003 et la pose d'un neurostimulateur en 2004 n'avaient pas aggravé son état de santé (rapport du 9 décembre 2008). Par projet de décision du 31 mars 2009, l'office AI a constaté qu'il n'y avait pas eu d'augmentation du taux d'invalidité depuis 1999 et a, en conséquence, rejeté la demande de révision de la rente. Suite à la contestation du projet de décision, le docteur I._ a confirmé son avis du 9 décembre 2008 et a exposé qu'en présence d'un diagnostic somatique expliquant les plaintes, il ne peut plus être question d'un trouble somatoforme douloureux (rapport du 2 juillet 2009). Dans un rapport complémentaire du 30 juillet 2009, le docteur E._ a précisé que la capacité de travail de l'assurée s'était fixée à 50% assez rapidement après l'accident en 1999. En l'absence d'atteinte psychiatrique occasionnant une incapacité de travail, un traitement ou un suivi psychiatrique ne pouvait pas être de nature à améliorer la capacité de travail. Par décision du 4 novembre 2009, l'office AI a confirmé son projet et a refusé une augmentation de la rente. B. B._ a contesté cette décision auprès du Tribunal cantonal valaisan des assurances (actuellement : la Cour des assurances du Tribunal cantonal) et a produit en procédure une expertise du 19 février 2010, demandée au Service de neurologie de l'Hôpital H._ et effectuée par les docteurs N._ et D._, neurologues, dont il résulte que la capacité de travail de l'assurée est de 50% dans une activité non contraignante physiquement. Par jugement du 14 octobre 2010, la juridiction cantonale a rejeté le recours. C. B._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation. Elle conclut principalement à l'octroi d'une rente entière d'invalidité et subsidiairement au renvoi de l'affaire à l'autorité inférieure pour instruction complémentaire. L'office AI a conclu au rejet du recours alors que l'Office fédéral des assurances sociales a renoncé à se déterminer.