Faits:
A. Par décisions du 27 décembre 2005, F._, ressortissant portugais né en 1962, a été mis au bénéfice d'une demi-rente de l'assurance-invalidité, de trois demi-rentes pour enfant et d'une demi-rente complémentaire pour conjoint à partir du 1er août 1998. Ces rentes ont été fixées en fonction uniquement des périodes d'assurance accomplies par le prénommé en Suisse (7 années et 4 mois), sur la base de l'échelle 24 (partielle), mais l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a précisé qu'un nouveau calcul des prestations serait effectué une fois connues les périodes d'assurance accomplies par l'assuré au Portugal.
A réception de deux formulaires E 205 relatifs aux périodes de cotisations effectuées par F._ au Portugal - dont il ressortait qu'il avait été soumis à cotisations sociales dans ce pays de juillet à septembre 1978, de février à juillet 1983, de mai 1984 à août 1989, ainsi qu'en novembre 1989 -, la Caisse AVS de la Fédération patronale vaudoise (ci-après: la caisse) a revu ses calculs. Prenant en compte 5 années et 11 mois de cotisations au régime portugais de sécurité sociale, ce qui, ajoutées aux périodes accomplies en Suisse, donnait un total de 13 ans et 3 mois de cotisations, elle a établi le droit aux prestations de l'assuré en fonction d'une échelle de rente 39 (échelle partielle). Elle n'a en revanche pas comptabilisé la période de cotisations au régime portugais de sécurité sociale pour la période de juillet à septembre 1978, parce que l'assuré n'avait pas encore dix-huit ans révolus à l'époque. Ensuite de ce nouveau calcul, l'office AI a, par décisions du 31 janvier 2008, fixé à nouveau le droit aux prestations de l'assuré à partir du 1er août 1998, en se fondant sur l'échelle de rente 39.
Par lettre intitulée "demande de révision des décisions du 31 janvier 2008", puis lors d'un échange de correspondance subséquent, F._ a contesté ces décisions, en invoquant notamment que le nombre d'années de cotisations au Portugal était de 6 ans, 9 mois et 21 jours, en raison d'une bonification pour prestation dans les services spéciaux de police, de sorte qu'une échelle de rente complète devait être appliquée au calcul de ses prestations. Par décision du 29 septembre 2009, l'office AI a rejeté la "demande de révision".
B. Saisi d'un recours formé par l'assuré contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté par jugement du 21 mai 2012.
C. Agissant par la voie du recours en matière de droit public, F._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer le jugement cantonal, en ce sens que sa demande soit admise et sa rente d'invalidité recalculée en tenant compte d'une échelle de rente complète. Subsidiairement, il conclut au renvoi de la cause à l'office AI pour nouvelles instruction et décision.
Le Tribunal cantonal vaudois s'est déterminé sur le recours en apportant quelques précisions appuyant son point de vue. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à s'exprimer à son sujet. F._ s'est prononcé sur ces prises de position.

Considérant en droit:
1. 1.1 Le litige porte sur le calcul de la rente d'invalidité reconnue à l'assuré à partir du 1er août 1998, singulièrement sur l'échelle de rente à appliquer au calcul de la prestation. Le recourant s'en prend au jugement attaqué uniquement en tant que celui-ci porte sur le calcul des prestations pour la période antérieure à la date d'entrée en vigueur de l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), le 1er juin 2002. Il ne remet en revanche pas en cause les considérations de l'autorité cantonale de recours sur le calcul de la rente pour la période courant à partir de cette date en fonction seulement des périodes d'assurance accomplies en Suisse, conformément à l'art. 46 par. 1 du Règlement (CEE) no 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté, auquel renvoie l'annexe II à l'ALCP, Section A.
On précisera que conformément à la jurisprudence constante, dès lors que l'examen du juge se limite à la période précédant le prononcé de la décision administrative, les modifications ultérieures de l'état de fait ou de droit ne pouvant normalement pas être prises en considération, il n'y a pas lieu d'examiner la situation juridique qui prévaudrait à l'égard du recourant à partir du 1er avril 2012 (cf. <ref-ruling> consid. 1 p. 316 ss), date à partir de laquelle les Parties à l'ALCP ont décidé d'appliquer désormais entre elles le Règlement (CE) no 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale (RS 0.831.109.268.1; cf. décision no 1/2012 du Comité mixte du 31 mars 2012 [RO 2012 2345]).
1.2 Comme le relève à juste titre la juridiction cantonale, si les prestations du recourant déterminées d'après le droit en vigueur jusqu'au 31 mai 2002, soit en application de la Convention de sécurité sociale du 11 septembre 1975 entre la Suisse et le Portugal (dans sa teneur déterminée par l'Avenant conclu le 11 mai 1994; RS 0.831.109.654.1; ci-après: la convention), sont plus élevées que celles résultant de la coordination prévue par l'ALCP, elles ne sont pas réduites pour la période postérieure au 1er juin 2002 (<ref-law>; art. 6 du règlement no 1408/71 et art. 118 du Règlement [CEE] n° 574/72 du Conseil, du 21 mars 1972, fixant les modalités d'application du règlement [CEE] n° 1408/71 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté; <ref-ruling> consid. 5 ss p. 335 ss).
2. Dans un premier moyen tiré d'une violation de la convention (art. 1 par. 1 let. B et 12 par. 1), le recourant reproche aux premiers juges d'avoir retenu que les bonifications accordées par le régime spécial portugais des fonctionnaires (majoration de 25% des périodes de cotisations) - auquel il avait été soumis en tant que fonctionnaire de police - et dûment attestées par la sécurité sociale portugaise pour la période du 29 mai 1984 au 3 août 1992 n'avaient pas à être prises en considération comme périodes de cotisations accomplies au Portugal pour fixer l'échelle des rentes.
2.1 Selon l'art. 12 par. 1 de la convention, pour déterminer les périodes de cotisations qui doivent servir de base au calcul de la rente ordinaire de l'assurance-invalidité suisse due à un ressortissant suisse ou portugais, les périodes de cotisations et les périodes assimilées accomplies selon les dispositions légales portugaises sont prises en compte comme périodes de cotisations suisses en tant qu'elles ne se superposent pas à ces dernières.
L'art. 1er par. 1 let. B de la convention détermine les législations portugaises entrant dans son champ d'application comme suit:
"a. Le régime général de sécurité sociale relatif aux prestations dans les éventualités de maladie, maternité, maladies professionnelles, invalidité, vieillesse, décès et charges de famille, y compris les prestations prévues par le régime de l'assurance volontaire;
b. [...]
c. Les régimes spéciaux en faveur de certaines catégories de travailleurs en ce qui concerne les prestations visées à l'alinéa a;
d. [...]".
2.2 Se fondant sur un arrêt du Tribunal fédéral I 99/03 du 17 novembre 2003, la juridiction cantonale a considéré que "les régimes spéciaux en faveur de certaines catégories de travailleurs" au sens de la let. c de l'art. 1 par. 1 let. B de la convention qui entraient dans le champ d'application de la convention comprenaient les régimes spéciaux applicables, selon la législation portugaise, aux travailleurs de la mer et aux agriculteurs, à l'exclusion des systèmes de protection sociale des fonctionnaires civils et militaires, membres de forces de police inclus. Par conséquent, ni les périodes de cotisations accomplies par l'assuré au Portugal alors qu'il travaillait comme fonctionnaire de police, ni a fortiori, une majoration de 25% de ces périodes de cotisations ne pouvaient être prises en considération pour le calcul de la rente.
2.3 Quoi qu'en dise le recourant, le raisonnement des premiers juges est conforme aux dispositions de la convention et l'interprétation qu'en a donnée le Tribunal fédéral. Dans l'arrêt I 99/03 cité, celui-ci a en effet retenu que selon la législation portugaise, les régimes spéciaux prévus par la convention (art. 1er par. 1 let. B.c. de la convention) sont réservés aux travailleurs de la mer et aux agriculteurs, mais ne recouvrent pas les systèmes de protection sociale des fonctionnaires civils et militaires. Il s'est fondé à cet égard sur l'avis du directeur des services de coordination et d'application des conventions internationales au Département portugais des relations internationales de la sécurité sociale, recueilli en cours de procédure, selon lequel la convention bilatérale entre la Suisse et le Portugal ne s'appliquait pas au régime spécial des fonctionnaires, membres des forces de police inclus. Cet avis autorisé était confirmé, du moins de manière indirecte, par le Conseil fédéral qui, en décrivant le régime portugais de sécurité sociale, s'exprimait de la manière suivante: "[Le système] est conçu aux fins de protéger les travailleurs salariés de l'industrie et du secteur tertiaire, mais on envisage d'en étendre finalement le champ d'application à toute la population active de l'économie privée. L'évolution du Portugal a abouti à un régime général s'appliquant aux travailleurs salariés et à des régimes spéciaux en faveur des travailleurs agricoles, des petits paysans et des pêcheurs." (Message du 19 mai 1976 concernant la convention de sécurité sociale entre la Suisse et le Portugal, FF 1976 II 1274, ch. 31).
Dans ce contexte, c'est en vain que le recourant fait valoir que l'application de la convention au régime spécial des fonctionnaires (membres des forces de police inclus) relèverait d'un fait allégué dans la procédure relative à l'arrêt I 99/03 cité et devrait faire l'objet d'une instruction complémentaire sur le résultat de laquelle il devrait avoir l'occasion de se déterminer. Le point de savoir quel est le champ d'application de la convention en cause, singulièrement l'interprétation des termes "régimes spéciaux en faveur de certaines catégories de travailleurs" de son art. 1er par. 1 let. B.c, constitue clairement une question de droit, à laquelle le Tribunal fédéral a apporté une réponse dans l'arrêt I 99/03 précité. Le recourant n'invoquant aucun motif qui justifierait de modifier l'interprétation de la convention retenue dans cet arrêt, il n'y a pas lieu de s'en écarter.
2.4 Le recourant ne saurait rien tirer non plus en sa faveur de la circonstance que l'administration portugaise compétente a attesté des bonifications accordées pour la période en cause dans le formulaire E 205. Comme l'ont retenu à bon droit les premiers juges, une telle attestation ne justifie pas de prendre ces bonifications en considération, puisqu'elles relèvent d'un régime spécial prévu par la législation portugaise qui n'est pas couvert par le champ d'application de la convention. En soi, l'attestation de ces bonifications, le 12 octobre 2007, répondait aux exigences introduites par l'ALCP et les règlements de droit communautaire auxquels il renvoie. A l'inverse de ce qui prévalait sous l'empire de la convention, le régime spécial applicable aux fonctionnaires entre en effet dans le champ d'application du règlement n° 1408/71 (cf. art. 4 par. 2 du règlement n° 1408/71 en relation avec l'art. 1 let. jbis du règlement n° 1408/71), de sorte que les autorités portugaises se devaient de mentionner les périodes de cotisations y relatives. Cette mention n'a cependant pas pour effet une prise en considération "automatique" de celles-ci au regard de la convention, comme le voudrait le recourant, puisqu'elles ne relèvent pas du champ d'application du traité bilatéral.
3. Invoquant une seconde violation de la convention, le recourant soutient que la période de cotisations au régime portugais de la sécurité sociale accomplie de juillet à septembre 1978, soit à une époque où il n'avait pas encore 18 ans révolus, aurait dû être prise en compte comme période de cotisations pour le calcul de sa rente.
Malgré les explications peu convaincantes de la caisse quant à la non-prise en compte des périodes de cotisations portugaises accomplies avant que l'assuré n'ait eu 18 ans révolus - faute de reposer sur une disposition de la convention qui fonderait son point de vue -, il n'y a pas lieu de se prononcer plus avant sur le grief du recourant. Il ressort en effet des constatations de la juridiction cantonale, qui ne sont pas remises en cause par l'assuré, que même si les trois mois de cotisations invoqués par le recourant devaient être pris en considération en application de la convention, il ne pourrait prétendre une majoration des prestations qui lui ont été allouées par l'intimée. En effet, un nouveau calcul de la rente (principale) au regard des dispositions conventionnelles impliquerait de faire abstraction des périodes de cotisations au régime spécial prévu par la législation portugaise pour les fonctionnaires de police, ce qui serait moins favorable au recourant que le calcul effectué par la caisse.
4. Il résulte de ce qui précède que le recours est mal fondé.
5. Vu l'issue du litige, le recourant supportera les frais judiciaires y afférents (<ref-law>). Il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 novembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless