Faits:
A. A._ a travaillé en qualité de poissonnier au service de l'entreprise X._ depuis le 1er août 1984. A ce titre, il était assuré contre le risque d'accident auprès de la Mobilière Suisse Société d'Assurances (ci-après: la Mobilière).
Le 29 mai 2001, il a été victime d'un accident de la circulation. Alors qu'il circulait au volant de sa voiture à une vitesse de 45 à 50 km/h, il a perdu la maîtrise de son véhicule en voulant éviter un autre véhicule qui roulait en sens inverse sur sa voie de circulation. Sa voiture a alors traversé la chaussée, a percuté un mur de soutènement bordant la route et a fini par s'immobiliser une vingtaine de mètres plus loin. L'assuré a été conduit au Centre hospitalier Y._ par la police. Dans un rapport du 12 juillet 2001, le docteur T._, spécialiste en médecine interne, a fait état d'une entorse cervicale avec cervico-brachialgies à droite sur hernie discale C5-C6 et de paresthésies à la main droite. La Mobilière a pris en charge le cas.
L'assuré a été entièrement incapable de travailler jusqu'au 7 juin 2001, date à laquelle il a repris son activité à 50 %. Après un séjour à la Clinique Z._; du 22 mai au 12 juin 2002), il a repris son activité à 50 % le 17 juin 2002 mais l'a interrompue après quelques heures.
La Mobilière a confié des expertises au docteur C._, spécialiste en chirurgie orthopédique (rapport du 23 juin 2003), ainsi qu'au docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 21 juillet 2003).
Par décision du 23 février 2004, confirmée sur opposition le 19 juillet suivant, la Mobilière a supprimé le droit de l'assuré aux prestations d'assurance à partir du 31 décembre 2003, motif pris de l'absence d'un lien de causalité naturelle et adéquate entre l'accident et les troubles existant après cette date.
De son côté, l'office AI a reconnu le droit de l'intéressé à une rente entière d'invalidité du 1er mai 2002 au 31 août 2003 et à un quart de rente - fondée sur un taux d'invalidité de 41 % - dès le 1er septembre 2003 (décision du 18 décembre 2007).
B. Saisie d'un recours de l'assuré contre la décision sur opposition de la Mobilière, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a confié une expertise au docteur F._, chef de clinique à la Clinique et policlinique d'orthopédie et de chirurgie de l'appareil moteur de l'Hôpital W._. Cette expertise, conduite par le docteur M._, chef de clinique, et supervisée par le docteur F._, a fait l'objet d'un rapport déposé le 14 juillet 2008 et complété le 10 février 2009.
Le 15 mai 2009, la Mobilière a informé le tribunal que l'assuré avait fait l'objet de procédures de surveillance par un détective privé du 28 octobre au 15 novembre 2005 et du 9 septembre au 17 octobre 2008, auxquelles, il fallait ajouter un constat réalisé au mois d'avril 2007 à l'occasion de l'exécution d'un autre mandat. Deux rapports de surveillance (des 18 novembre 2005 et 24 octobre 2008) et un dossier photographique ont été produits.
Le 18 août 2009, l'assuré a produit un rapport d'expertise du 30 juillet 2009 établi par la doctoresse U._, médecin au Département de psychiatrie du Centre d'expertises de Y._, dans la cause opposant l'intéressé à l'Office de l'assurance-invalidité pour le canton de Vaud.
De son côté, la Mobilière a produit un rapport d'expertise biomécanique établi le 19 octobre 2006 par l'institut "Arbeitsgruppe für Unfallmechanik", ainsi qu'un rapport du docteur C._ du 26 septembre 2009.
La juridiction cantonale a requis des renseignements complémentaires auprès du docteur D._, médecin-chef au Service d'anesthésiologie et antalgie de l'Ensemble hospitalier V._, et médecin traitant de l'assuré (rapport du 11 janvier 2010) et confié une expertise complémentaire au docteur M._ (rapport du 20 avril 2010). Le tribunal cantonal a ordonné, le 10 février 2011, une audience au cours de laquelle il a entendu le docteur M._, ainsi que E._, détective privé qui avait effectué le mandat de surveillance confié par la Mobilière.
Par jugement du 10 février 2011, la juridiction cantonale a rejeté le recours (ch. I du dispositif) et confirmé la décision sur opposition du 19 juillet 2004 (ch. II).
C. A._ interjette un recours en matière de droit public en concluant à la réformation du ch. II du dispositif du jugement attaqué en ce sens que l'intimée est tenue d'allouer ses prestations dès le 1er janvier 2004. Subsidiairement, il demande l'annulation du ch. II du dispositif du jugement attaqué et le renvoi de la cause à l'autorité compétente pour nouvelle décision, le tout sous suite de frais et dépens, lesquels comprendront une indemnité pour la procédure cantonale.
L'intimée conclut au rejet du recours sous suite de frais et dépens. La juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à présenter des déterminations.
Le 24 mai 2011, la juridiction cantonale a confirmé la décision de l'office AI du 18 décembre 2007.
Le 6 octobre 2011, le recourant a fait part au Tribunal fédéral de ses observations sur la réponse de l'intimée. Celle-ci a renoncé à répondre à ces observations, tout en exposant son point de vue sur la cause.
D. Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours de l'assuré contre le jugement cantonal du 24 mai 2011 en matière d'assurance-invalidité (8C_525/2011).
Considérant en droit:
1. Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2. Le litige porte sur le point de savoir si l'intimée était fondée, par sa décision sur opposition du 19 juillet 2004, à supprimer le droit du recourant à des prestations d'assurance (traitement médical et indemnité journalière) à compter du 31 décembre 2003.
Lorsque le jugement entrepris porte sur des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (arrêts 8C_115/2011 du 26 janvier 2012 consid. 2; 8C_39/2010 du 7 septembre 2010 consid. 2).
3. Selon l'art. 6 al. 1 LAA, les prestations d'assurance sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle.
Le droit à des prestations découlant d'un accident assuré suppose d'abord, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Cette exigence est remplie lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière (ATF 129 V 177 consid. 3.1 p. 181; 402 consid. 4.3.1 p. 406; 119 V 335 consid. 1 p. 337; 118 V 286 consid. 1b p. 289 et les références). Le droit à des prestations de l'assurance-accidents suppose en outre l'existence d'un lien de causalité adéquate entre l'accident et l'atteinte à la santé. La causalité est adéquate si, d'après le cours ordinaire des choses et l'expérience de la vie, le fait considéré était propre à entraîner un effet du genre de celui qui s'est produit, la survenance de ce résultat paraissant de façon générale favorisée par une telle circonstance (ATF 129 V 177 consid. 3.2 p. 181; 402 consid. 2.2 p. 405; 125 V 456 consid. 5a p. 461 et les références).
4. 4.1 La Mobilière a nié l'existence d'un lien de causalité naturelle entre l'accident survenu le 29 mai 2001 et les troubles subsistant après le 31 décembre 2003.
De son côté, la juridiction cantonale a considéré qu'il existe un lien de causalité naturelle entre l'accident et les symptômes sans déficit organique objectivable persistant après cette date (cervico-brachialgies droites chroniques et réfractaires), mais elle a nié l'existence d'un lien de causalité adéquate entre ces troubles et l'accident - qu'elle a classé à la limite inférieure de la catégorie des accidents de gravité moyenne. Se référant à la jurisprudence applicable en cas de traumatisme de type "coup du lapin" à la colonne cervicale, de traumatisme analogue à la colonne cervicale ou de traumatisme cranio-cérébral (ATF 134 V 109 consid. 10.3 p. 130; 117 V 359 consid. 6a p. 367 et 369 consid. 4b p. 383), la juridiction cantonale a considéré que seul était réalisé le critère touchant à l'intensité des douleurs, ce qui était toutefois insuffisant pour admettre le caractère adéquat du lien de causalité dans le cas d'un accident de gravité moyenne, à la limite des accidents de peu de gravité.
4.2 Le recourant conteste le point de vue de la juridiction cantonale en faisant valoir qu'au moins quatre critères déterminants pour admettre l'existence d'un lien de causalité adéquate entre l'accident et la symptomatologie subsistant après le 31 décembre 2003 sont réalisés en l'occurrence.
4.2.1 Dans un arrêt ATF 134 V 109, le Tribunal fédéral a précisé sur plusieurs points sa jurisprudence au sujet de la relation de causalité entre des plaintes et un traumatisme de type "coup du lapin" ou un traumatisme analogue à la colonne cervicale ou encore un traumatisme cranio-cérébral, sans preuve d'un déficit organique objectivable. Selon cet arrêt, il y a lieu de s'en tenir à une méthode spécifique pour examiner le lien de causalité adéquate en présence de tels troubles (consid. 7 à 9 de l'arrêt cité). Par ailleurs, le Tribunal fédéral n'a pas modifié les principes qui ont fait leur preuve, à savoir la nécessité, d'une part, d'opérer une classification des accidents en fonction de leur degré de gravité et, d'autre part, d'inclure, selon la gravité de l'accident, d'autres critères lors de l'examen du caractère adéquat du lien de causalité (consid. 10.1). Cependant, il a renforcé les exigences concernant la preuve d'une lésion en relation de causalité naturelle avec l'accident, justifiant l'application de la méthode spécifique en matière de traumatisme de type "coup du lapin" (consid. 9) et modifié en partie les critères à prendre en considération lors de l'examen du caractère adéquat du lien de causalité (consid. 10). Ces critères sont désormais formulés de la manière suivante:
- les circonstances concomitantes particulièrement dramatiques ou le caractère particulièrement impressionnant de l'accident (inchangé);
- la gravité ou la nature particulière des lésions (inchangé);
- l'administration prolongée d'un traitement médical spécifique et pénible (formulation modifiée);
- l'intensité des douleurs (formulation modifiée);
- les erreurs dans le traitement médical entraînant une aggravation notable des séquelles de l'accident (inchangé);
- les difficultés apparues au cours de la guérison et les complications importantes (inchangé);
- l'importance de l'incapacité de travail en dépit des efforts reconnaissables de l'assuré (formulation modifiée).
4.2.2 En l'espèce, il est constant que le recourant ne souffre pas d'un déficit organique objectivable en relation avec le traumatisme crânien avec entorse cervicale dont il a été victime le 29 mai 2001. Par ailleurs, étant donné son déroulement, l'accident en cause doit être classé à la limite inférieure de la catégorie des accidents de gravité moyenne, comme l'ont considéré les premiers juges. Au demeurant, le recourant ne conteste pas le jugement cantonal sur ce point.
4.3 En ce qui concerne les critères jurisprudentiels déterminants, l'existence de circonstances concomitantes particulièrement dramatiques et/ou du caractère particulièrement impressionnant de l'accident doit être niée, les allégations du recourant ne permettant pas de s'écarter de l'appréciation des premiers juges à ce sujet.
4.4 Le recourant allègue que le critère des difficultés apparues au cours de la guérison et des complications importantes est réalisé.
Dans la mesure où l'intéressé invoque pour cela les premiers soins auprès de Y._, le 29 mai 2001, le séjour dans le Service de réadaptation neurologique de Z._ (du 22 mai au 12 juin 2002), ainsi que ses consultations au Centre de la douleur à l'Hôpital S._, on ne saurait conclure à l'existence du critère allégué, du moment que les soins et les observations invoqués n'ont pas entraîné de difficultés ni de complications importantes dans le processus de guérison.
Le recourant évoque par ailleurs diverses périodes d'hospitalisation à la Clinique psychiatrique R._ et auprès de Y._ (du 1er au 14 novembre 2008, du 10 janvier au 2 février 2009, du 8 février au 6 mars 2009 et du 18 avril au 3 mai 2010), motivées par des idées suicidaires et des hallucinations visuelles. Ces allégations ne permettent pas, toutefois, de mettre en cause le jugement cantonal quant à l'appréciation des critères jurisprudentiels déterminants. Selon une jurisprudence constante, en effet, le juge examine la légalité des décisions attaquées, en règle générale, d'après l'état de fait existant au moment où la décision litigieuse a été rendue (ATF 132 V 215 consid. 3.1.1 p. 220; 121 V 362 consid. 1b p. 366 et les références). Or, en l'occurrence, les hospitalisations alléguées ont eu lieu plus de quatre ans après le prononcé de la décision sur opposition litigieuse du 19 juillet 2004.
Vu ce qui précède, le critère des difficultés apparues au cours de la guérison et des complications importantes n'apparaît pas réalisé.
Vu ce qui précède, le critère des difficultés apparues au cours de la guérison et des complications importantes n'apparaît pas réalisé.
4.5 4.5.1 Par ailleurs, le recourant fait valoir que le critère de l'incapacité de travail en dépit de ses efforts reconnaissables est réalisé. Il invoque pour cela l'appréciation de la doctoresse U._ (rapport d'expertise psychiatrique du 30 juillet 2009 et rapport complémentaire du 18 janvier 2011), experte nommée dans la cause opposant l'intéressé à l'office AI. La doctoresse U._ a posé les diagnostics de trouble dépressif récurrent, épisode actuel sévère avec symptômes psychotiques, et de syndrome douloureux somatoforme persistant. Selon l'experte, la symptomatologie psychiatrique entraîne une incapacité de travail entière depuis le 19 juin 2002. Le recourant reproche à la juridiction cantonale d'avoir écarté cette appréciation, laquelle démontre, selon lui, que le critère de l'incapacité de travail en dépit des efforts reconnaissables de l'intéressé est réalisé en l'occurrence.
4.5.2 L'appréciation de la capacité de travail indiquée par l'experte U._ ne permet pas de conclure à l'existence du critère jurisprudentiel allégué. En effet, pour évaluer l'incapacité de travail, ce médecin s'est fondé essentiellement sur les attestations d'incapacité de travail délivrées par le docteur T._, médecin traitant, lequel a constaté que l'assuré n'avait pas repris d'activité professionnelle à partir du 19 juin 2002, après le séjour auprès de Z._. L'experte n'indique aucun élément objectif de nature à justifier son appréciation en ce qui concerne la période antérieure au 1er novembre 2008, date de la première hospitalisation à l'Hôpital R._. D'ailleurs, elle relève qu'il est difficile de dater avec précision l'apparition des symptômes psychiatriques.
Par ailleurs, si le recourant a bénéficié d'une rente entière d'invalidité à partir du 1er mai 2002, fondée sur une incapacité de travail entière, cette prestation a été toutefois remplacée par un quart de rente à partir du 1er septembre 2003 (décision de l'office AI du 18 décembre 2007, confirmée par arrêt de ce jour [8C_525/2011]). Le remplacement de la rente entière par un quart de rente faisait suite à une amélioration de l'état de santé dès le mois de juin 2003, les troubles n'entraînant plus qu'une incapacité de travail de 20 % dans une activité adaptée.
Cela étant, le critère de l'incapacité de travail en dépit des efforts reconnaissables de l'intéressé n'apparaît pas réalisé. Il n'y a dès lors pas lieu de s'écarter du point de vue de la juridiction cantonale selon lequel l'existence du seul critère de l'intensité des douleurs ne permet pas, à lui seul, d'admettre le caractère adéquat du lien de causalité entre l'accident et la symptomatologie sans déficit organique objectivable subsistant après le 31 décembre 2003.
Vu ce qui précède, l'intimée était fondée, par sa décision sur opposition du 19 juillet 2004, à supprimer le droit du recourant à des prestations d'assurance à partir du 31 décembre 2003.
Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.
5. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
L'intimée ne peut se voir allouer une indemnité de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 6 juillet 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
Le Greffier: Beauverd