Faits:
A. Feue M._, ressortissante hongroise, a été mise au bénéfice d'une rente ordinaire de l'assurance-vieillesse et survivants suisse (AVS) à partir du 1er mai 2000. Domiciliée en Hongrie, elle a quitté ce pays et s'est installée depuis le 1er mars 2003 au Mexique, où elle a résidé jusqu'au 31 mai 2008. Dès le 1er juin 2008 et jusqu'à son décès en 2009, elle a été domiciliée en Autriche.
Le 3 décembre 2010, la Caisse suisse de compensation (ci-après: la caisse) a adressé à K._, fils et seul héritier de feue M._, une décision par laquelle elle a alloué une rente ordinaire de veuve de l'AVS à la prénommée pour la période du 1er juin 2008 au 31 janvier 2009. K._ s'est opposé à cette décision, en concluant à l'octroi d'une rente de veuve pour la période du 1er mars 2002 au 30 mai 2008. Par décision sur opposition du 27 avril 2011, la caisse a confirmé son prononcé du 3 décembre 2010. En bref, elle a considéré que le paiement de rentes à une ressortissante hongroise n'était prévu par la législation applicable qu'à la condition qu'elle résidât en Suisse ou dans un Etat membre de l'Union européenne; le versement de la rente de veuve devait être repris seulement à compter du mois où feue l'assurée s'était domiciliée en Autriche.
B. Statuant le 11 novembre 2011 sur le recours formé par K._ contre la décision sur opposition, le Tribunal administratif fédéral l'a rejeté.
C. K._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut au versement des arriérés de rente AVS de feue M._ pour la période de mars 2002 au 30 mai 2008.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue sur la base des faits établis par l'autorité précédente (<ref-law>) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
Par ailleurs, le Tribunal fédéral n'examine en général que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 1.3.1 p. 68).
2. 2.1 Il ressort des faits constatés par la juridiction fédérale de première instance, qui lient le Tribunal fédéral (consid. 1 supra), que feue M._ a bénéficié d'une rente ordinaire de veuve de l'AVS du 1er mai 2000 jusqu'au moment où elle a quitté la Hongrie pour s'installer au Mexique à partir du 1er mars 2003. En tant que les conclusions du recourant portent, comme devant l'instance précédente, sur le versement d'une rente de l'AVS du 1er mars 2002 à la fin du mois de février 2003, elles sont irrecevables, faute d'intérêt à recourir pour obtenir des prestations qui ont déjà été versées (cf. <ref-law>).
2.2 Seul est donc litigieux en instance fédérale le versement d'une rente de veuve de l'AVS du 1er mars 2003 au 31 mai 2008. A cet égard, le jugement entrepris expose correctement les règles légales applicables, à savoir, outre l'<ref-law>, les normes idoines, pour la période du 1er mars 2003 au 31 mars 2006, de la Convention de sécurité sociale entre la Confédération suisse et la République de Hongrie du 4 juin 1996, entrée en vigueur au 1er janvier 1998 (RS 0.831.109.418.1; ci-après: la convention bilatérale) et, pour la période du 1er avril 2006 au 31 mai 2008, celles de l'Accord entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes, du 21 juin 1999 (ALCP; RS 0.142.112.681, tel que modifié à partir du 1er avril 2006 par le Protocole à l'ALCP du 26 octobre 2004 [RO 2006 995]), ainsi que les règlements du droit communautaire auxquels fait référence l'annexe II à cet accord (dans sa version en vigueur pour la Suisse jusqu'au 31 mars 2012). Il suffit donc d'y renvoyer.
3. Le recourant reproche à la juridiction fédérale de première instance une violation de l'art. 8 Cst., en ce qu'elle aurait appliqué "de manière inégale" l'art. 16 de la convention bilatérale et créé une inégalité de traitement entre les citoyens hongrois et les citoyens suisses.
3.1 Dans la mesure où le recourant se limite à affirmer de manière générale qu'il existe une inégalité de traitement entre les ressortissants hongrois et les Suisses en relation avec l'application de l'art. 16 de la convention bilatérale, sans démontrer en quoi concrètement sa mère aurait été victime d'une telle inégalité par rapport à une personne de nationalité suisse dans la même situation, on peut douter que son recours satisfasse aux exigences de motivation accrues de l'<ref-law> (consid. 1 supra). Il n'est cependant pas nécessaire de trancher ce point, dès lors que le recours est de toute façon mal fondé comme il ressort de ce qui suit.
3.2 A l'instar de ce qu'a retenu à bon droit l'autorité précédente, l'art. 16 de la convention bilatérale invoqué par le recourant n'est pas applicable en l'espèce. Selon sa lettre claire ("Les ressortissants hongrois ont droit aux rentes extraordinaires de l'assurance-vieillesse, survivants et invalidité suisse [...]"), cette disposition concerne uniquement les rentes extraordinaires de l'AVS, alors que la prestation allouée à feue M._ est une rente ordinaire de veuve calculée en fonction de la durée de cotisations et du revenu annuel moyen de feu son époux (cf. art. 23, 29 et 33 LAVS), et non pas une rente de survivant dérivée d'une rente extraordinaire, qui suppose l'absence de droit à une rente ordinaire (cf. <ref-law>). L'argumentation du recourant, qui repose au demeurant sur une interprétation trop étroite de l'art. 8 Cst, lequel ne prohibe pas de manière absolue toute différence de traitement entre les ressortissants étrangers et les Suisses (cf. <ref-ruling> consid. 3.2.3 p. 398 in fine), tombe dès lors à faux.
Pour le surplus, les considérations du jugement entrepris quant au versement d'une rente ordinaire de survivant pour autant que le bénéficiaire hongrois réside en Suisse, en Hongrie (cf. art. 5 al. 1 première phrase de la convention bilatérale) ou, à partir du 1er avril 2006, dans un autre Etat membre de l'Union européenne (cf. <ref-law>, 3 par. 1 et art. 10 par. 1 du Règlement [CEE] n° 1408/71 [0.831.109.268.1], en relation avec l'<ref-law>) ne sont pas critiquables et ne sont, au demeurant, pas remises en cause par le recourant.
4. Il résulte de ce qui précède que le recours est mal fondé, dans la mesure où il est recevable, et doit être rejeté selon la procédure simplifiée de l'<ref-law>.
5. Compte tenu de l'issue de la procédure, le recourant est tenu de supporter les frais judiciaires (<ref-law>) et ne saurait prétendre des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour III, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 juillet 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless