Faits:
A. S._, ressortissant suisse né en 1931, retraité, vit en Afrique depuis février 2008. Au cours de ce mois, il s'est remarié avec P._, née en 1972. Par décisions du 7 octobre 2008, la Caisse suisse de compensation (la caisse) a adapté le montant de sa rente de vieillesse; elle a aussi alloué une rente ordinaire pour enfant en faveur de A._, née en 1992, fille de P._ qui vit avec eux.
Le 21 octobre 2008, S._ s'est adressé à la caisse afin de savoir si un adolescent de la parenté de son épouse, orphelin de mère, intégré dans leur ménage, entrerait dans la catégorie des enfants recueillis. Il a précisé qu'il attendait la réponse de la caisse avant de prendre une décision relative à la prise en charge de cet adolescent. Par courriel du 22 janvier 2009, la caisse lui a communiqué la teneur de l'<ref-law>.
Le 19 janvier 2009, S._ a annoncé à la caisse la naissance de son fils, R._, né en décembre 2008. Simultanément, il a informé la caisse que son épouse et lui-même avaient recueillis deux orphelins de la parenté de son épouse, depuis le 1er janvier 2009. Il a ajouté, par courriel du 23 janvier 2009, que cet accueil était intervenu sur la base des termes de la décision du 7 octobre 2008.
Par décision du 18 mars 2009, la caisse a alloué une rente ordinaire pour l'enfant R._ dès le 1er janvier 2009. Dans une écriture du même jour, la caisse a précisé qu'elle n'allouerait pas de rente pour les enfants orphelins recueillis.
S._ s'est opposé à cette décision en concluant à l'allocation de rentes pour les deux enfants recueillis. La caisse a rejeté son opposition, par décision du 14 mai 2009.
B. S._ a déféré cette décision au Tribunal administratif fédéral en concluant implicitement à l'octroi de rentes pour les enfants qu'il avait recueillis.
La juridiction de recours de première instance l'a débouté par jugement du 11 février 2011.
C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en reprenant les conclusions formées devant le Tribunal administratif fédéral.
L'intimée et l'Office fédéral des assurances sociales n'ont pas été invités à se déterminer.

Considérant en droit:
1. Le litige porte sur le droit du recourant à des rentes pour les deux enfants qu'il a recueillis dès le 1er janvier 2009.
2. A l'appui de ses conclusions, le recourant soutient en premier lieu que son courriel du 21 octobre 2008 aurait été interprété faussement. Il allègue que le Tribunal administratif fédéral n'aurait pas tenu compte des arguments qu'il avait développés dans son recours, tandis que les moyens de la caisse intimée auraient été pris à tort en considération. Il ajoute, en se référant au préavis du 25 novembre 2009, que la caisse de compensation serait à la fois juge et partie dans le conflit.
Le recourant se prévaut ensuite de sa bonne foi. A son avis, l'intimée avait implicitement consenti à verser des rentes pour enfants recueillis, dans la mesure où elle n'avait pas répondu, dans un délai raisonnable, à sa demande de renseignements du 21 octobre 2008. Il estime que le comportement de l'intimée (qu'il assimile à un silence approbateur) a éveillé chez lui une espérance légitime de pouvoir obtenir des rentes pour enfants recueillis, ce qui l'a conduit à engager dès la fin de l'année 2008 des dépenses d'écolage pour les enfants sur lesquelles il ne peut plus revenir. Le recourant ajoute que la décision du 7 octobre 2008, par laquelle l'intimée avait alloué une rente pour l'enfant de son épouse, ne précisait pas que de telles prestations ne s'appliquaient qu'à des enfants du conjoint; il en déduit qu'il était fondé, de bonne foi, à comprendre qu'il s'agissait d'enfants recueillis distincts des enfants du conjoint.
Enfin, le recourant invoque l'existence de règles de droit (qu'il ne cite pas) qui devraient permettre l'attribution de prestations pour enfants recueillis, sans que ces derniers aient un lien de filiation avec l'un ou l'autre conjoint.
3. Le raisonnement du recourant découle assurément d'une mauvaise compréhension du système légal, que le Tribunal administratif fédéral lui a pourtant dûment exposé et qu'il convient de rappeler à nouveau. Sous le titre marginal "Rente pour enfant", le législateur a disposé à l'<ref-law> que : "Les personnes auxquelles une rente de vieillesse a été allouée ont droit à une rente pour chacun des enfants qui, au décès de ces personnes, auraient droit à une rente d'orphelin. Les enfants recueillis par des personnes qui sont déjà au bénéfice d'une rente de vieillesse ou d'une rente d'invalidité allouée antérieurement à celle-ci ne donnent pas droit à la rente, sauf s'il s'agit des enfants de l'autre conjoint". Dans le cas d'espèce, si le versement d'une rente pour la fille de l'épouse du recourant a trouvé son fondement dans l'<ref-law>, 2e phrase in fine, le recourant ne peut rien tirer de la décision correspondante du 7 octobre 2008 pour prétendre le versement de rentes en faveur d'autres enfants recueillis. En effet, les conditions légales mises au versement de telles prestations, prévues par l'<ref-law>, 2e phrase in initio, ne sont manifestement pas réalisées (cf. consid. 4.1 du jugement attaqué) : d'une part les deux enfants dont il est question ne sont ni ceux du recourant ni ceux de son épouse, d'autre part ils ont été recueillis à une époque à laquelle le recourant bénéficiait déjà d'une rente de vieillesse.
La décision du 7 octobre 2008 concernant la rente pour l'enfant A._ contient la précision suivante à la page 2 : "Rentes pour les enfants recueillis : Les enfants recueillis ont droit à une rente aussi longtemps qu'il vivent avec l'assuré dans le même ménage. Celui-ci doit assumer gratuitement les frais d'entretien et d'éducation. Si ces conditions ne sont plus remplies, l'assuré doit informer immédiatement notre caisse". Contrairement à l'opinion du recourant, ce passage ne saurait être compris comme étant constitutif d'une garantie d'ordre général ou d'une promesse que l'intimée lui aurait donnée, à teneur de laquelle tous les enfants qu'il recueillerait bénéficieraient d'une rente fondée sur l'<ref-law>. Au contraire, il s'agit d'une indication explicite des conditions légales mises au versement de la rente pour A._ (dans la décision correspondante du 7 octobre 2008), ainsi que d'un rappel adressé au recourant quant à son obligation d'information à l'égard de la caisse de compensation dans l'éventualité où l'enfant de son épouse quitterait le ménage commun ou que le recourant n'assumerait plus gratuitement les frais d'entretien et d'éducation de cet enfant. De plus, l'intimée n'a jamais fait savoir au recourant, explicitement ou implicitement, qu'il aurait droit aux rentes qu'il revendique pour les enfants recueillis. Le recourant devait du reste se douter de la fragilité de ses prétentions puisqu'il avait expressément indiqué à l'intimée, dans son courriel du 21 octobre 2008, qu'il attendrait la confirmation d'un droit à une rente avant de recueillir les enfants. Dans ce contexte, il ne pouvait pas, de bonne foi, déduire d'une absence de réaction à sa demande de renseignement ou de conseil (au sens de l'<ref-law>) qu'elle équivaudrait à un accord de l'administration. En outre, après avoir reconnu que la rente pour enfant recueilli "couvre donc A._" et demandé à la caisse si l'adolescent orphelin qu'il était prêt à intégrer à son ménage entrait dans la catégorie "d'enfants recueillis" (courriel du 21 octobre 2008), le recourant se situe à la limite de la bonne foi lorsqu'il fait valoir qu'à la lecture de la décision du 7 octobre 2008 il avait compris "en toute bonne foi" que la mention d'enfants recueillis visait des enfants disctincts de ceux de son conjoint. C'est dès lors à juste titre que les premiers juges ont rejeté le moyen tiré de la protection du droit à la bonne foi, après avoir rappelé les conditions cumulatives auxquelles un avantage contraire à la loi peut être accordé lorsqu'une information ou une promesse erronées ou illégales ont été données (cf. consid. 5.1 du jugement attaqué).
Quant au document du 25 novembre 2009, il ne constitue pas une décision sur recours émanant de la caisse de compensation, mais une réponse que cette administration a adressée à l'autorité judiciaire dans le cadre son droit d'être entendue en tant que partie intimée au procès.
En tous points infondé, le recours sera rejeté.
4. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour III, et à l'Office fédéral des assurances sociales.
Lucerne, le 27 janvier 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud