Faits:
A. Le 19 avril 1995, V._ mariée et sans enfant, a déposé une demande de prestations de l'assurance-invalidité. Par décision du 20 mars 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) lui a accordé le droit à une rente entière d'invalidité à partir du 1er avril 1994.
Lors d'une procédure de révision initiée par l'office AI, V._ a indiqué que son état de santé était toujours le même et qu'il n'y avait pas eu de changement sur le plan professionnel; dans la rubrique «remarques», elle a ajouté «ai un enfant et suis divorcée sans pension alimentaire» (questionnaire du 10 février 1999). Le 23 juillet 2001, l'assurée a été informée du maintien de sa rente entière d'invalidité.
Au cours d'une nouvelle procédure de révision, l'assurée a rempli, le 22 septembre 2005, le questionnaire pour la révision de la rente et l'allocation pour impotent, ainsi que le formulaire 531 bis. A la question «à quel taux d'activité (100 %, 50 % ou autre) pourriez-vous travailler si vous étiez en bonne santé?», l'intéressée a répondu à «moins de 100 % (2 enfants bas âge)». Le 29 août 2006, l'office AI a fait savoir à l'assurée qu'elle bénéficierait de "la même rente que jusqu'à ce jour (degré d'invalidité: 100 %)".
Le 20 avril 2010, V._ a communiqué à l'office AI la naissance de ses deux enfants, E._ et J._. Elle a ajouté avoir appris par hasard qu'elle était en droit d'obtenir une rente complémentaire pour enfant. Elle a en outre exprimé sa surprise de n'avoir jamais reçu cette prestation, alors que les services des assurances sociales de sa commune de résidence, ainsi que son médecin traitant, connaissaient sa situation familiale. A la demande de l'office AI (lettre du 23 avril 2010), l'assurée a fait parvenir les actes de naissance à la Caisse de compensation FRSP-CIAM, à Genève (lettre du 25 mai 2010). Par décision du 23 juin 2010, l'office AI a reconnu à V._ le droit à deux rentes complémentaires pour enfant à partir du 1er mai 2005.
B. L'intéressée a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à l'allocation de deux rentes complémentaires pour enfant à compter du 1er août 1997 pour E._, respectivement du 1er septembre 2000 pour J._. L'office AI a transmis une prise de position de la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes FER CIAM 106.1 (ci-après: la caisse de compensation) dans laquelle celle-ci déclarait ne pas avoir reçu d'annonce valable avant le 26 mai 2010, les réponses aux questionnaires ne pouvant être considérées comme telles. Par jugement du 3 mai 2011, le Tribunal cantonal a débouté l'assurée.
C. V._ interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Sous suite de frais et dépens, elle requiert l'octroi avec effet rétroactif de rentes complémentaires pour enfant dès le 1er août 1997 pour E._ et dès le 1er septembre 2000 pour J._, le dossier étant renvoyé à l'office AI pour le calcul de ces prestations.
L'office AI a transmis un nouvel avis de la caisse de compensation concluant au rejet du recours, tandis que l'Office fédéral de l'assurance-invalidité a renoncé à se déterminer. V._ a présenté des observations complémentaires.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Le droit de la recourante à des rentes complémentaires pour ses deux enfants à partir du mois de mai 2005 n'est pas contesté. Le litige porte uniquement sur le droit de la recourante au versement de ces prestations avant le 1er mai 2005.
3. 3.1 La juridiction cantonale a retenu que l'obligation d'utiliser la formule officielle pour les personnes voulant exercer leur droit aux prestations de l'assurance-invalidité (art. 65 RAI) s'appliquait également à l'assuré requérant l'octroi d'une rente complémentaire pour enfant. L'autorité cantonale de recours a constaté que la recourante n'avait communiqué pour la première fois sa volonté de percevoir des rentes complémentaires pour enfant qu'en avril 2010 dans la lettre adressée à l'office AI à cette intention. Selon les premiers juges, avant cette date, l'administration n'avait eu que des indices sur l'état de la situation familiale de la recourante, cette dernière n'ayant signalé qu'«en passant» le fait qu'elle avait un enfant (cf. questionnaire pour la révision de la rente déposé en février 1999), puis deux enfants en remplissant en septembre 2005 le formulaire à propos de l'organisation du ménage. A l'instar de l'office AI, dont ils ont jugé la décision conforme au droit fédéral, les juges cantonaux ont fixé le début du droit aux prestations litigieuses au mois de mai 2005, soit cinq ans avant la remise des actes de naissance des deux enfants par la recourante à la caisse de compensation en mai 2010.
3.2 La recourante soutient que l'exigence de la formule officielle ne s'applique pas lorsqu'il s'agit d'annoncer la naissance d'un enfant du bénéficiaire d'une rente d'invalidité; il n'existerait au demeurant aucun formulaire officiel adéquat. Elle relève également que les décisions de l'office AI qui rappellent l'obligation de renseigner à ce sujet ne font état d'aucune forme particulière que devrait revêtir une telle annonce. Elle allègue finalement avoir annoncé correctement les naissances de ses deux enfants, soit le 10 février 1999 pour E._, respectivement le 22 septembre 2005 pour J._, lors des procédures de révision, de sorte que le droit au versement rétroactif des rentes devrait être reconnu pour les cinq ans précédant le dépôt des questionnaires, mais au plus tard à la date de la naissance de chaque enfant.
4. 4.1 En l'espèce, il n'est pas contesté que la recourante, bénéficiaire d'une rente d'invalidité au moment de la naissance de ses enfants, aurait pu prétendre à une rente pour enfant dès la naissance de ces derniers, soit dès août 1997 pour E._, et à partir de septembre 1999 pour son fils J._ (art. 35 al. 1 et 4 LAI). Toutefois, on relèvera que de telles prestations ne sont pas versées automatiquement par les organes compétents.
4.2 Ainsi, les prestations d'assurance sociale sont en principe servies à la demande de l'ayant droit: celui qui ne s'annonce pas à l'assurance n'obtient pas de prestations, même si le droit à celles-ci découle directement de la loi (ATF 101 V 261 consid. 2 p. 265). Aussi, l'art. 29 al. 1 LPGA prévoit-il que celui qui fait valoir un droit à des prestations doit s'annoncer à l'assureur compétent, dans la forme prescrite par l'assurance sociale concernée. Selon l'art. 65 RAI (nouveau et également dans sa teneur en vigueur jusqu'au 31 décembre 2007), l'assuré doit présenter sa demande sur formule officielle.
Selon la jurisprudence, en s'annonçant à l'assurance-invalidité, l'assuré sauvegarde en règle générale tous ses droits à des prestations d'assurance, même s'il n'en précise pas la nature exacte, l'annonce comprenant toutes les prétentions qui, de bonne foi, sont liées à la survenance du risque annoncé. Cette règle ne vaut cependant pas pour les prestations qui n'ont aucun rapport avec les indications fournies par le requérant et à propos desquelles il n'existe au dossier aucun indice permettant de croire qu'elles pourraient entrer en considération. L'obligation de l'administration d'examiner le cas s'étend seulement aux prestations qui, sur le vu des faits et des pièces du dossier, peuvent entrer normalement en ligne de compte. Lorsque par la suite l'assuré fait valoir qu'il a encore droit à une autre prestation, il y a lieu d'examiner selon l'ensemble des circonstances du cas particulier, au regard du principe de la bonne foi, si l'imprécise annonce antérieure comprend également la prétention que l'assuré fait valoir ultérieurement (ATF 121 V 195 consid. 2 p. 196 et les arrêts cités).
4.3 L'annonce à l'assureur social permet en principe également de préserver le délai de l'art. 24 al. 1 LPGA (art. 48 al. 1 aLAI dans sa version en vigueur jusqu'au 31 décembre 2007), selon lequel le droit à des prestations arriérées s'éteint cinq ans après la fin du mois pour lequel la prestation était due. Toutefois, lorsque l'administration a manqué à son devoir d'instruction malgré une demande suffisamment précise de l'assuré, le paiement de prestations arriérées est soumis au délai de cinq ans prévu à l'art. 24 al. 1 LPGA: seules les prestations dues pour les cinq dernières années à partir de la nouvelle demande de prestations sont versées, le droit aux prestations antérieures s'étant éteint. Autrement dit, même si l'administration a omis fautivement de donner suite à une demande initiale de prestations, qui était bien fondée, le paiement des prestations arriérées est soumis au délai de péremption absolu de cinq ans à compter de la date du dépôt de la nouvelle demande (ATF 121 V 195 consid. 5d p. 201 s.; arrêt M 12/06 du 23 novembre 2007 consid. 5.3). Le but de cette jurisprudence est essentiellement d'éviter que le paiement rétroactif de prestations pour une période couvrant plusieurs années ne vienne alimenter une fortune plus ou moins importante alors que ces prestations étaient destinées à compenser les besoins vitaux ordinaires du requérant (arrêt 9C_574/2008 du 27 mars 2009 consid. 2.2).
4.4 En l'espèce, contrairement à la motivation retenue par les premiers juges, il n'y avait pas lieu d'examiner si les mentions d'un, puis de deux enfants, faites en 1999 et 2005 par la recourante lors des procédures de révision constituaient des annonces valables au regard du droit de l'assurance-invalidité. En effet, il découle directement de l'art. 24 LPGA et des principes jurisprudentiels exposés ci-dessus que les prestations arriérées de plus de cinq ans depuis la demande de la recourante en 2010 étaient échues; et ce, indépendamment du fait de savoir si l'office AI avait commis une faute, ou contrevenu à son obligation d'instruire (art. 43 LPGA), en ne donnant pas suite aux indications fournies par la recourante dans les questionnaires de révision au sujet des changements intervenus dans sa situation.
5. 5.1 Il convient encore d'examiner si c'est à bon droit que la juridiction cantonale a fixé au 26 mai 2010 - date à laquelle la recourante a fait parvenir à la caisse de compensation les actes de naissance pour ses deux enfants - le point de départ du délai de péremption des rentes arriérées. Les premiers juges ont considéré que ce n'était qu'une fois les actes de naissance déposés par la recourante que celle-ci avait pleinement rempli son obligation de s'annoncer.
5.2 Un tel raisonnement ne peut être suivi. Il ressort des propres constatations de la juridiction cantonale que le premier courrier de la recourante, du 20 avril 2010, adressé à l'office AI, était suffisamment clair au sujet des prestations demandées (rentes complémentaires pour enfant requises, identité et dates de naissance des enfants indiquées), de sorte que ni l'office AI, ni la caisse de compensation, n'ont exigé de l'assurée qu'elle remplisse la formule officielle. A la suite de ce courrier, l'office AI a simplement demandé à l'intéressée d'envoyer à la caisse de compensation les actes de l'état civil attestant officiellement la naissance des enfants. Cela étant, sans qu'il soit besoin de trancher la question de savoir quelle forme doit revêtir exactement l'annonce de la naissance d'un enfant d'un bénéficiaire d'une rente d'invalidité en vue de percevoir une rente complémentaire pour enfant, on constate que dans le cas particulier la recourante a exprimé, dans son courrier du 20 avril 2010, de façon suffisamment explicite sa volonté de percevoir des prestations découlant de la naissance de ses deux enfants. Aussi, par l'envoi de ce courrier, la recourante a-t-elle rempli à satisfaction l'obligation de s'annoncer. Il importe peu que la lettre de la recourante ne remplisse pas les exigences de l'art. 65 RAI ou qu'elle n'ait pas été adressée ou transmise à la caisse de compensation, étant précisé que l'office AI est tout à fait compétent pour recevoir de telles annonces, respectivement demandes de prestations (art. 67 et 77 RAI). On rappellera que selon l'art. 29 al. 3 LPGA, si une demande ne respecte pas les exigences de forme ou si elle est remise à un organe incompétent, la date à laquelle elle a été remise à la poste ou déposée auprès de cet organe est déterminante quant à l'observation des délais et aux effets juridiques de la demande. Ainsi, il y a lieu de se référer à la date à laquelle le courrier en question a été remis au bureau de poste, soit le 21 avril 2010, comme point de départ du délai de péremption.
Par conséquent, le droit de la recourante au versement des rentes arriérées doit remonter aux cinq ans précédant le 21 avril 2010. L'arriéré des rentes pour enfant pour le mois d'avril 2005 devra donc également lui être versé.
6. Dès lors qu'elle succombe dans une très large mesure, la recourante supportera la majeure partie des frais judiciaires (art. 66 al. 1 LTF). Pour le même motif, elle a droit à des dépens réduits (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est très partiellement admis. Le chiffre II du dispositif du jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 3 mai 2011 et la décision du 23 juin 2010 sont réformés en ce sens que le droit à deux rentes pour enfant est accordé à compter du mois d'avril 2005. Le recours est rejeté pour le surplus.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis pour 400 fr. à la charge de la recourante et pour 100 fr. à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 600 fr. à titre de dépens pour la dernière instance.
4. Les chiffres III et IV du dispositif du jugement attaqué sont annulés et le dossier est renvoyé à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 mai 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen