Faits:
A. A.a M._, né en 1945, était assuré obligatoirement contre le risque d'accident auprès de Swica Assurances SA (ci-après: Swica).
Le 11 avril 2003, alors qu'il se trouvait au volant de son véhicule à l'arrêt, M._ a été percuté par l'arrière par un autre automobiliste. A la suite de cet événement, l'assuré a présenté des douleurs lombaires accompagnées de maux de tête, pour lesquelles il a bénéficié d'un traitement d'ostéopathie. En raison de cervicalgies apparues en septembre 2003, une imagerie par résonance magnétique (IRM) a été effectuée le 10 septembre, laquelle a mis en évidence une discopathie protrusive étagée sévère ainsi qu'une hernie discale en C3-C4, de même qu'en C5-C6 et C6-C7 avec un conflit radiculaire intra-foraminal à droite.
Dans un rapport du 19 février 2004, le docteur S._ (spécialiste FMH en chirurgie) a indiqué que l'assuré avait subi une entorse cervicale bénigne survenue sur un terrain de lésions dégénératives préexistantes de la colonne cervicale. Le cas a été pris en charge par Swica.
Le 23 janvier 2004, M._ est tombé sur l'épaule droite en tentant de retenir sa mère qui glissait sur une plaque de glace. A cet occasion, il a subi une lésion de la coiffe des rotateurs de l'épaule droite (sous-scapulaire et sous-épineux), entraînant une incapacité de travail de 50 %. Le cas a été pris en charge par Swica.
Se plaignant de douleurs chroniques de l'épaule droite, l'assuré a été opéré le 10 juillet 2006 par les docteurs F._ et B._ (médecin adjoint et médecin assistant au service d'orthopédie de l'Hôpital X._).
Dans un rapport du 15 août 2006, le docteur O._ (spécialiste FMH en chirurgie orthopédique) a considéré que les lésions de l'épaule droite étaient à prédominance dégénérative et que l'accident du 23 janvier 2004 avait entraîné une aggravation passagère de l'état antérieur. Selon ce praticien, les lésions vues et décrites par le docteur F._ étant de type dégénératif, l'intervention du 10 juillet 2006 ne résultait pas des suites directes de l'accident du 23 janvier 2004.
Par décision du 21 novembre 2006, Swica a mis fin à ses prestations avec effet au 30 juin 2006, au motif que les lésions à l'épaule droite étaient survenues indépendamment de l'accident selon l'évolution d'un état maladif antérieur. L'assuré ayant formé opposition contre cette décision, Swica a mis en oeuvre une expertise qu'elle a confiée au docteur U._ (spécialiste FMH en médecine interne et rhumatologie et en médecine psychosomatique et psychosociale). Dans son rapport du 18 décembre 2006, ce dernier a conclu qu'une activité adaptée était exigible de la part de l'assuré à 100 %.
Swica a rejeté l'opposition de l'assuré par une nouvelle décision du 31 juillet 2007.
Par jugement du 29 octobre 2008, la Cour de assurances sociales du Tribunal cantonal valaisan a admis le recours interjeté par l'assuré contre la décision sur opposition précitée. Les juges cantonaux sont arrivés à la conclusion qu'un facteur extérieur avait déclenché la rupture des tendons du sous-scapulaire et du sus-épineux, de sorte que l'atteinte n'était pas exclusivement d'origine dégénérative. La cause a été renvoyée à Swica pour qu'elle statue sur le droit de l'assuré à des prestations au-delà du 30 juin 2006, l'assureur devant examiner à partir de quelle date, postérieurement à l'intervention chirurgicale du 10 juillet 2006, le statu quo sine/ante avait été atteint.
A.b Swica a confié une expertise au docteur D._ (spécialiste FMH en chirurgie orthopédique), lequel a examiné l'assuré le 2 juin 2009. Selon lui, pour l'événement survenu le 11 avril 2003, le statu quo sine/ante aurait dû être considéré comme atteint à l'issue d'une période maximale d'une année. Une hypothétique dégradation transitoire complémentaire de l'état de la colonne cervicale, à la suite de l'événement du 23 janvier 2004, aurait pu repousser le délai d'atteinte à 18 mois au plus (soit en octobre 2004). En ce qui concernait l'événement survenu le 23 janvier 2004, le statu quo sine/ante avait été atteint à l'issue d'un délai maximal de 6 à 9 mois (soit en novembre 2004). Au-delà, le tableau clinique était dominé par des éléments dégénératifs sous-jacents, préexistants, évoluant depuis de nombreuses années.
Se fondant sur les conclusions de l'expert D._, Swica a supprimé, par décision du 28 octobre 2009 confirmée sur opposition le 13 avril 2010, le droit à la prise en charge de l'indemnité journalière et des frais de traitement dès le 30 novembre 2004, date à laquelle elle a considéré le statu quo sine comme atteint.
B. Par jugement du 26 mai 2011, le Tribunal cantonal a partiellement admis le recours interjeté par M._ contre la décision sur opposition du 13 avril 2010, en ce sens que les troubles de l'épaule droite du recourant étaient à la charge de Swica jusqu'au 31 juillet 2007.
C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à ce qu'il soit constaté que ses problèmes de santé sont la conséquence d'un accident, que son état de santé n'est pas rétabli et que les conséquences des troubles de son épaule droite soient mis à la charge de Swica pour une durée indéterminée.
Swica conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se prononcer.

Considérant en droit:
1. Le litige porte sur le maintien éventuel du droit du recourant à des prestations de l'assurance-accidents (traitement médical et indemnité journalière) au-delà du 31 juillet 2007.
Lorsque le jugement entrepris porte sur des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets (arrêt 8C_115/2011 du 26 janvier 2012 consid. 2).
2. 2.1 L'exigence d'un rapport de causalité naturelle entre un accident assuré et une atteinte à la santé est remplie lorsqu'il y a lieu d'admettre que, sans l'événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Il n'est pas nécessaire, en revanche, que l'accident soit la cause unique ou immédiate de l'atteinte à la santé; il faut et il suffit que l'événement dommageable, associé éventuellement à d'autres facteurs, ait provoqué l'atteinte à la santé physique ou psychique de l'assuré, c'est-à-dire qu'il se présente comme la condition sine qua non de celle-ci (<ref-ruling> consid. 3.1 p. 181; 402 consid. 4.3.1 p. 406; <ref-ruling> consid. 1 p. 337; <ref-ruling> consid. 1b p. 289 et les références).
2.2 Si l'on peut admettre qu'un accident n'a fait que déclencher un processus qui serait de toute façon survenu sans cet événement, le lien de causalité naturelle entre les symptômes présentés par l'assuré et l'accident doit être nié lorsque l'état maladif antérieur est revenu au stade où il se trouvait avant l'accident (statu quo ante) ou s'il est par-venu au stade d'évolution qu'il aurait atteint sans l'accident (statu quo sine) (SVR 2009 UV n° 3 p. 9, arrêt 8C_354/2007 du 4 août 2008 consid. 2.2).
3. La juridiction cantonale a retenu que l'atteinte à l'épaule droite du recourant n'avait pas été provoquée par l'accident du 23 janvier 2004, mais seulement déclenchée par celui-ci, de sorte que l'assureur était uniquement tenu de prendre en charge les troubles persistants liés à l'événement accidentel jusqu'au rétablissement du statu quo sine, lequel avait été atteint au plus tard douze mois après l'intervention chirurgicale du 10 juillet 2006.
4. Le recourant reproche pour l'essentiel à la juridiction cantonale d'avoir admis, en se fondant sur l'expertise D._, qu'il présentait des lésions préexistantes à l'accident du 23 janvier 2004. Il soutient à ce propos que l'expertise du docteur D._ est entachée d'incohérences et de contradictions, de sorte qu'elle n'a aucune valeur probante.
4.1 Le recourant reproche tout d'abord au docteur D._ d'avoir émis des considérations générales tirées de la littérature médicale (cf. p. 13 de l'expertise), sans référence aux constatations de fait rapportées en page 9 de l'expertise. Les considérations auxquelles fait allusion le recourant concernent exclusivement les lésions cervicales en lien avec l'accident du 11 avril 2003. Or, celles-ci ne sont plus discutées dans la présente procédure.
4.2 Le recourant estime que l'expertise contient une contradiction dans la mesure où elle indique, en page 14, que l'entorse de l'épaule droite est survenue dans le cadre d'un terrain dégénératif évident, touchant les deux épaules et concernant la coiffe des rotateurs, alors qu'en page 11, elle nie des troubles dégénératifs gléno-huméraux pour l'épaule gauche. Il n'y a pas de contradiction en l'espèce dès lors qu'il ne s'agit pas des mêmes parties concernées (dans un cas, l'expert se réfère à l'articulation gléno-humérale de l'épaule et dans l'autre, à la coiffe des rotateurs, soit les tendons de muscles situés au niveau de l'articulation de l'épaule).
4.3 Le recourant prétend encore qu'il est contradictoire de la part du docteur D._ de soutenir, d'une part, que l'évolution post-opératoire est restée défavorable, tout en affirmant que sa santé est rétablie. On précisera à cet égard qu'est seul litigieux en l'espèce le moment où le statu quo sine a été atteint, indépendamment de considérations générales sur l'état de santé du recourant.
4.4 Quant à l'affirmation de l'expert D._, selon laquelle le statu quo ante concernant l'épaule droite aurait dû être atteint après un délai maximal de un à deux mois, elle ne concorde certes pas avec celle du docteur O._, pour qui le statu quo ante ne sera jamais atteint. Cette divergence ne porte toutefois pas à conséquence puisque ces deux médecins sont d'accord sur le fait que le statu quo sine a, quant à lui, été atteint à plus ou moins brève échéance.
4.5 Les critiques du recourant à l'égard de l'expertise du docteur D._ n'étant pas fondées, il n'y a pas lieu par ailleurs de mettre en doute la valeur probante de celle-ci.
4.6 Pour le reste, la juridiction cantonale a retenu, en se fondant sur l'ensemble des pièces médicales au dossier, que le statu quo sine avait été atteint au plus tard douze mois après l'intervention du 10 juillet 2006, soit le 31 juillet 2007. L'appréciation des premiers juges n'est pas critiquable.
Mal fondé, le recours doit être rejeté.
Succombant, le recourant supportera les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 30 avril 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin