Faits:
A. A._ a travaillé en qualité de poissonnier au service de l'entreprise X._ depuis le 1er août 1984. Le 29 mai 2001, il a été victime d'un accident de la circulation au cours duquel il a subi une entorse cervicale avec cervico-brachialgies à droite sur hernie discale C5-C6.
Saisi d'une demande de prestations, l'Office de l'assurance-invalidité pour le canton de Vaud a requis l'avis du docteur T._, spécialiste en médecine interne et médecin traitant, lequel a attesté une incapacité de travail entière dans l'activité habituelle et une diminution de rendement de 50 % dans une activité adaptée (rapport du 23 octobre 2002). En outre, l'office AI a recueilli des rapports d'expertises confiées par la Mobilière Suisse Société d'Assurances (ci-après: la Mobilière) au docteur C._, spécialiste en chirurgie orthopédique (rapport du 23 juin 2003), ainsi qu'au docteur B._, spécialiste en psychiatrie et psychothérapie (rapport du 21 juillet 2003).
Par décision du 23 février 2004, confirmée sur opposition le 19 juillet suivant, la Mobilière, qui avait pris en charge le cas en sa qualité d'assureur-accidents obligatoire, a supprimé le droit de l'assuré aux prestations d'assurance à partir du 31 décembre 2003, motif pris de l'absence d'un lien de causalité naturelle et adéquate entre l'accident et les troubles existant après cette date.
Dans un rapport d'examen SMR du 17 novembre 2004, la doctoresse U._ a indiqué une incapacité de travail entière jusqu'au mois de juin 2003 et, pour la période subséquente, une capacité de travail de 50 % dans l'activité habituelle et de 80 % dans une activité adaptée n'exigeant pas le port de lourdes charges ni la station debout prolongée, et permettant l'alternance des positions, ainsi que la possibilité de faire des pauses d'environ une demi-heure par demi-journée.
L'office AI a mis en oeuvre un stage d'observation professionnelle au Centre Y._ (actuellement: Z._) du 30 mai au 24 juin 2005, et un stage d'orientation au Centre d'intégration professionnelle W._ du 21 novembre 2005 au 26 février 2006.
Par décision du 18 décembre 2007, l'office AI a reconnu le droit de l'assuré à une rente entière d'invalidité du 1er mai 2002 au 31 août 2003 et à un quart de rente - fondée sur un taux d'invalidité de 41 % - dès le 1er septembre 2003.
B. L'assuré a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud en concluant au maintien de son droit à une rente entière, subsidiairement à l'octroi d'une demi-rente dès le 1er septembre 2003. A l'appui de son recours, il invoquait une expertise du docteur F._, chef de clinique à la Clinique et policlinique d'orthopédie et de chirurgie de l'appareil moteur de W._, mise en oeuvre par la juridiction cantonale dans le cadre du litige opposant l'intéressé à la Mobilière. Cette expertise, conduite par le docteur M._, chef de clinique, et supervisée par le docteur F._, a fait l'objet d'un rapport déposé le 14 juillet 2008 et complété le 10 février 2009.
La juridiction cantonale a confié une expertise à la doctoresse L._, médecin au Département de psychiatrie du Centre d'expertises du Centre hospitalier V._, laquelle a déposé son rapport le 30 juillet 2009, ainsi qu'un rapport complémentaire le 18 janvier 2011.
Le 10 février 2011, la juridiction cantonale a confirmé la décision sur opposition du 19 juillet 2004, par laquelle la Mobilière avait supprimé le droit aux prestations d'assurance dès le 31 décembre 2003.
Par jugement du 24 mai 2011, elle a rejeté le recours (ch. I du dispositif) et confirmé la décision de l'office AI du 18 décembre 2007.
C. A._ interjette un recours en matière de droit public en concluant à la réformation du ch. II du dispositif du jugement du 24 mai 2011 en ce sens qu'il a droit à une rente entière depuis le 1er septembre 2003. Subsidiairement, il demande l'annulation du ch. II de ce dispositif et le renvoi de la cause à l'autorité compétente pour nouvelle décision, le tout sous suite de frais et dépens, lesquels comprendront une indemnité pour la procédure cantonale.
L'intimé, la juridiction cantonale et l'Office fédéral des assurances sociales (OFAS) ont renoncé à se déterminer sur le recours.
D. Par arrêt de ce jour, le Tribunal fédéral a rejeté le recours de l'assuré contre le jugement cantonal du 10 février 2011 en matière d'assurance-accidents (8C_522/2011).
Considérant en droit:
1. Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2. Le litige porte sur le point de savoir si l'intimé était fondé, par sa décision du 18 décembre 2007, à supprimer le droit du recourant à une rente entière au 31 août 2003 et à remplacer cette prestation par un quart de rente à compter du 1er septembre suivant.
Le jugement entrepris expose de manière exacte et complète les règles et principes jurisprudentiels sur la révision du droit à une rente d'invalidité (art. 17 al. 1 LPGA; ATF 130 V 343 consid. 3.5 p. 349; cf. également ATF 133 V 545), applicables lorsque la décision de l'assurance-invalidité accordant une rente avec effet rétroactif prévoit en même temps la suppression ou la réduction de cette rente (ATF 131 V 164 consid. 2.2 p. 165; 125 V 413 consid. 2d p. 417 s. et les références). Il suffit donc d'y renvoyer.
3. 3.1 La juridiction cantonale a constaté qu'après une période durant laquelle l'assuré avait été entièrement incapable de travailler, sa capacité de travail s'était améliorée dès le mois de juin 2003, époque à laquelle l'intéressé était de nouveau capable d'exercer une activité adaptée à raison de 80 %. Elle s'est fondée pour cela sur les avis des experts C._ et B._. Dans son rapport du 23 juin 2003, complété le 30 août 2004, le docteur C._ a fait état d'une petite hernie discale C5-C6 à droite sans signes de compression radiculaire, d'un status après distorsion cervicale modérée, d'une uncarthrose cervicale modérée (déjà présente avant l'accident) et de probables troubles somatoformes avec composante psychique possible. Ce médecin a attesté qu'au moment de son expertise (12 juin 2003), la capacité de travail était de 50 % dans l'activité habituelle et de 80 % dans une activité adaptée, à savoir une activité n'exigeant pas le port de lourdes charges ni la station debout prolongée, et permettant l'alternance des positions, ainsi que la possibilité de faire des pauses d'environ une demi-heure par demi-journée. De son côté, le docteur B._ a posé le diagnostic d'exagérations symptomatiques pour des motifs non médicaux et il a indiqué qu'au moment de son examen, l'intéressé ne présentait pas de troubles psychiques influençant sa capacité de travail (rapport du 21 juillet 2003). Se fondant sur les conclusions de ces experts, la juridiction cantonale a écarté l'appréciation de la doctoresse L._, selon laquelle les troubles psychiques constatés lors de son examen (trouble dépressif récurrent, épisode actuel sévère, avec symptômes psychotiques et syndrome douloureux somatoforme persistant) entraînent une incapacité de travail entière depuis le 19 juin 2002 (rapport du 30 juillet 2009 et rapport complémentaire du 18 janvier 2011). Les premiers juges ont considéré qu'en ce qui concerne la période du mois de juin 2002 au mois de novembre 2008, cette experte s'était exclusivement fondée sur les attestations d'incapacité de travail délivrées par le médecin traitant, sans indiquer aucun élément objectif propre à justifier son appréciation de la capacité de travail; au demeurant, la doctoresse L._ a concédé qu'il lui était extrêmement difficile de situer avec précision le début des symptômes psychiques. Par ailleurs, la juridiction cantonale relève que les conclusions des docteurs C._ et B._ ont été confirmées par la doctoresse U._ (rapport d'examen SMR du 17 novembre 2004) et par le docteur R._, médecin-conseil de Y._ (rapport du 25 juin 2005).
3.2 Partant de l'idée que le Tribunal fédéral ne serait pas lié par l'état de fait établi par la juridiction cantonale lorsque la décision litigieuse concerne une rente de l'assurance-invalidité, le recourant reproche à la juridiction précédente une constatation inexacte des faits pertinents. Il fait valoir que le jugement attaqué est fondé à tort sur le rapport d'expertise du docteur B._ (du 21 juillet 2003), puisque ce rapport ne traite que de la situation connue à l'époque de l'expertise. Selon le recourant, la juridiction cantonale aurait dû plutôt se fonder sur le rapport d'expertise de la doctoresse L._, lequel porte sur la période postérieure. En ce qui concerne la valeur probante de ce rapport, l'intéressé soutient que celui-ci n'est pas seulement fondé sur les attestations d'incapacité de travail délivrées par le médecin traitant mais qu'il tient compte également des diverses hospitalisations sur un mode non volontaire, ainsi que des conclusions de l'expert M._ (rapport du 14 juillet 2008). Du moment que la doctoresse L._ fait état de l'apparition d'un état dépressif sévère en 2004, voire en 2002 déjà, le recourant soutient que la juridiction cantonale nie l'évidence lorsqu'elle constate qu'une incapacité de travail en relation avec des troubles d'ordre psychique n'est apparue que postérieurement au prononcé de la décision litigieuse, le 18 décembre 2007. Il allègue qu'au demeurant, les conclusions de la doctoresse L._ s'appuient sur l'appréciation du docteur H._, spécialiste en psychiatrie et psychothérapie, et médecin traitant, lequel indique un trouble dépressif sévère (rapport du 29 mai 2005) et fait état d'une incapacité de travail de 100 % (rapport du 6 juin 2008), ainsi que sur celles du docteur D._, médecin-chef au service d'anesthésiologie et antalgie de l'Ensemble hospitalier O._ (rapport du 2 juin 2008) et des médecins du Département P._; rapport du 23 juillet 2004).
3.3 En l'occurrence, le recourant ne conteste pas le point de vue de l'intimé et de la juridiction cantonale, selon lequel les troubles de nature somatique entraînaient, durant la période du 1er septembre 2003, date de la réduction de la rente, et le 18 décembre 2007, date de la décision litigieuse, une incapacité de travail de 50 % dans l'activité habituelle et de 20 % dans une activité adaptée telle que l'a décrite l'expert C._. Est donc litigieux le point de savoir s'il existait également, durant la période litigieuse, une incapacité de travail découlant de troubles psychiques.
3.3.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire (cf. Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
3.3.2 En l'espèce, le recourant se plaint à maints égards d'un établissement des faits inexact ou incomplet au motif que les constatations de fait du jugement attaqué ne tiendraient pas compte de divers éléments susceptibles d'influer sur l'issue du litige. Cependant, le recours ne contient aucune démonstration du caractère arbitraire de l'état de fait du jugement attaqué. En effet, le recourant n'expose pas en quoi l'appréciation des preuves par les premiers juges est manifestement insoutenable. Son argumentation tend plutôt à substituer sa propre appréciation à celle de l'autorité précédente. Au demeurant, on ne voit guère que les allégations du recourant soient de nature à remettre en cause le jugement attaqué. En particulier, dans la mesure où l'appréciation de la capacité de travail par la doctoresse L._ repose exclusivement sur les attestations du médecin traitant et sur les hospitalisations qui ont eu lieu après la période déterminante, on ne saurait qualifier d'arbitraire la décision des premiers juges d'écarter ses conclusions. En outre, il n'apparaît pas que la juridiction cantonale a établi les faits de manière insoutenable en se fondant sur l'appréciation du docteur B._, laquelle satisfait pleinement aux exigences relatives à la valeur probante d'un rapport médical (cf. ATF 134 V 231 consid. 5.1 p. 232; 125 V 351 consid. 3a p. 352 et la référence).
Vu ce qui précède, il n'y a pas de motif de s'écarter du point de vue de la juridiction cantonale selon lequel la capacité de travail de l'assuré s'est améliorée dès le mois de juin 2003. Par ailleurs, le recourant ne conteste pas le calcul du taux d'invalidité à compter de cette date, tel qu'il a été effectué par l'intimé et confirmé par la juridiction cantonale (41,21 %, arrondi à 41 %). Aussi, l'intimé était-il fondé à supprimer le droit à la rente entière et à remplacer cette prestation par un quart de rente dès le 1er septembre 2003 (art. 88a al. 2 RAI). Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.
4. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 juillet 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
Le Greffier: Beauverd