Faits: Faits: A. V._, né en 1951, a travaillé en Suisse par intermittence de 1971 à 1986, puis en Espagne de septembre 1986 à juillet 2002 en qualité de boulanger indépendant. Le prénommé a cessé le travail le 17 juillet 2002 et perçoit depuis ce moment-là une rente pour incapacité de travail de la sécurité sociale espagnole. Le 2 septembre 2002, V._ a présenté une demande de prestations de l'assurance-invalidité suisse auprès de l'Institut national de la sécurité sociale espagnole (INSS), laquelle a été transmise à l'Office AI pour les assurés résidant à l'étranger (l'office AI). Parmi les avis médicaux soumis au docteur M._, médecin de l'office AI, figure un rapport du service médical de l'INSS du 8 octobre 2002. Il en ressort en particulier que l'assuré présente un status après prostatectomie et lymphadenectomie (mai 2002) pour adéno-carcinome Gleasom IX de la prostate, un status après cure chirurgicale de varices ainsi qu'un tabagisme chronique. L'assuré doit éviter les stations debout, les rampes d'escalier et les atmosphères chaudes; il peut effectuer des travaux légers à temps complet, mais présente une incapacité permanente dans son ancien métier. Dans un projet de décision du 7 juillet 2003, consécutif à une évaluation du docteur M._ du 26 juin 2003, l'office AI a informé l'assuré qu'il envisageait de rejeter la demande de prestations, au motif qu'une incapacité permanente de gain ou une incapacité de travail moyenne d'au moins 40 % pendant une année ne ressortait pas du dossier. Malgré l'atteinte à la santé, l'assuré pourrait exercer une activité lucrative et réaliser un gain excluant le droit à une rente. L'assuré a manifesté son désaccord, en faisant observer notamment qu'il souffre d'une altération de l'acuité visuelle. L'office AI a recueilli un nouvel avis de l'INSS, du 10 février 2004, dont il ressort en particulier que l'assuré présente une acuité visuelle limitée à l'oeil gauche (0,2 après correction), la vue de l'oeil droit étant perdue. Selon le docteur M._, médecin de l'office AI, l'assuré serait en mesure d'accomplir diverses activités de substitution, notamment un travail sur écran d'ordinateur, un travail de caissier dans une grande surface, de surveillant de musée ou de vendeur y compris par correspondance. Il proposait une révision du cas à la fin de l'année 2006 avec un examen ophtalmologique (cf. avis des 22 décembre 2003 et 26 mars 2004). Par décision du 29 mars 2004, l'office AI a rejeté la demande. Saisie d'une opposition de l'assuré, l'administration a admis que les problèmes de santé réduisent fortement sa capacité de travail comme boulanger, mais que l'assuré conserve néanmoins une pleine capacité dans un emploi adapté. Pour évaluer le taux d'invalidité, l'office AI a tenu compte d'un revenu sans invalidité mensuel de 5'998 fr. 40, correspondant au salaire moyen versé dans le domaine d'activité du recourant après majoration de 10 % en raison du caractère indépendant de l'activité exercée. Il a comparé ce gain avec un revenu d'invalide de 3'767 fr. 85, c'est-à-dire le salaire moyen dans une activité médicalement exigible, après réduction de 10 % en raison des limitations dues à l'âge et à d'autres difficultés objectives (comparaison du 16 mars 2004). Le taux d'invalidité s'élevant ainsi à 37 % (3'767 / 5'998), l'office AI a rejeté l'opposition par décision du 23 juillet 2004. Par décision du 29 mars 2004, l'office AI a rejeté la demande. Saisie d'une opposition de l'assuré, l'administration a admis que les problèmes de santé réduisent fortement sa capacité de travail comme boulanger, mais que l'assuré conserve néanmoins une pleine capacité dans un emploi adapté. Pour évaluer le taux d'invalidité, l'office AI a tenu compte d'un revenu sans invalidité mensuel de 5'998 fr. 40, correspondant au salaire moyen versé dans le domaine d'activité du recourant après majoration de 10 % en raison du caractère indépendant de l'activité exercée. Il a comparé ce gain avec un revenu d'invalide de 3'767 fr. 85, c'est-à-dire le salaire moyen dans une activité médicalement exigible, après réduction de 10 % en raison des limitations dues à l'âge et à d'autres difficultés objectives (comparaison du 16 mars 2004). Le taux d'invalidité s'élevant ainsi à 37 % (3'767 / 5'998), l'office AI a rejeté l'opposition par décision du 23 juillet 2004. B. V._ a déféré cette décision à la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger (aujourd'hui : Tribunal administratif fédéral) en concluant principalement à l'allocation d'une rente entière d'invalidité, subsdiairement trois-quarts de rente ou une demi-rente. Par jugement du 20 décembre 2005, la commission de recours a admis que l'office AI aurait dû appliquer un coefficient de réduction de 20 % au salaire statistique. Comme le taux d'invalidité qui en découlait s'élevait au moins à 40 %, elle a réformé la décision sur opposition litigieuse en ce sens qu'elle a reconnu à l'assuré le droit à un quart de rente d'invalidité à compter du 1er mai 2003. Par jugement du 20 décembre 2005, la commission de recours a admis que l'office AI aurait dû appliquer un coefficient de réduction de 20 % au salaire statistique. Comme le taux d'invalidité qui en découlait s'élevait au moins à 40 %, elle a réformé la décision sur opposition litigieuse en ce sens qu'elle a reconnu à l'assuré le droit à un quart de rente d'invalidité à compter du 1er mai 2003. C. V._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation, en reprenant ses conclusions formées en première instance. L'intimé a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.