Faits:
A. A.a V._ (né en 1952) a été engagé en qualité d'acheteur pour les services généraux auprès de la société X._ SA à partir du 1er juin 2005. En vue de son affiliation à la Caisse de retraite X._, gérée par la Fondation de prévoyance X._ en faveur du personnel des sociétés affiliées ou apparentées au holding X._ S.A. (ci-après: la fondation), il a rempli et signé une "Déclaration de santé" (le 8 juin 2005). Il a répondu "oui" à la question: "Etes-vous actuellement en pleine capacité de travail?". Il a répondu "non" aux questions: "Avez-vous dû, au cours des 5 dernières années, interrompre votre travail totalement ou partiellement durant plus de 4 semaines en raison d'une maladie ou d'un accident?" et "Etes-vous actuellement en traitement médical?". Il a été affilié sans réserve à l'institution de prévoyance, ce dont il a été informé par courrier du 16 août 2005.
Après que V._ a été mis en arrêt de travail à partir du 19 décembre 2005 et que les rapports de travail ont pris fin au 31 décembre suivant, le prénommé a présenté une demande de prestations de l'assurance-invalidité. Il a été mis au bénéfice d'une rente entière de cette assurance à partir du 1er décembre 2006.
A.b A la demande de l'institution de prévoyance, son médecin conseil, le docteur B._, spécialiste FMH en médecine interne, a examiné V._ le 13 juin 2006. Par courrier du 5 juillet 2006 à la fondation, le médecin a indiqué s'être rendu compte que le prénommé souffrait d'un trouble dépressif majeur récurrent, d'un diabète et d'une hypertension artérielle non mentionnés dans le questionnaire d'admission. Le 12 juillet suivant, la fondation a requis de son médecin conseil d'établir "une réserve pour les troubles de santé récurrents et existant préalablement à la date d'affiliation au 1er juin 2005". Cette "réserve médicale" selon laquelle "sont réservés les troubles de l'humeur, le diabète et l'hypertension artérielle ainsi que leurs conséquences" a été jointe par la fondation à un courrier adressé le 21 août 2006 à V._. L'institution de prévoyance lui indiquait devoir revenir sur son courrier du 16 août 2005 dans lequel elle confirmait l'affiliation sans réserve, parce qu'il souffrait d'une affection chronique peu compatible avec une absence de traitement médical à la date de son engagement au sein de la société X._ SA. Elle lui confirmait par ailleurs son affiliation dès le 1er juin 2005 avec des conditions d'assurance modifiées en fonction de la réserve médicale proposée par son médecin conseil et débutant dès le 1er juin 2005 pour une durée de cinq ans. Conformément à la requête de la fondation, V._ a signé une copie de la lettre du 21 août 2006 qu'il lui a renvoyée.
La fondation l'ayant prié de compléter son analyse de la situation médicale de l'intéressé, le docteur B._ a pris contact avec les médecins traitants et requis le dossier de l'assurance-invalidité, qui comprenait notamment un rapport du docteur H._, spécialiste FMH en neurologie, du 28 juin 2004. Sur la base de ces informations, il a indiqué, le 13 décembre 2007, que V._ présentait une incapacité totale de travail qui risquait d'être définitive, en raison avant tout de troubles neurologiques liés à une probable complication du diabète dont souffrait l'intéressé, qui s'était manifestée en juin 2004 mais dont celui-ci ne lui avait pas parlé lors de l'examen deux ans plus tard.
Par courrier du 9 janvier 2008, la fondation a informé V._ qu'elle ne pouvait pas l'"affilier au plan de rentes aux conditions normales", parce qu'il n'avait pas rempli véridiquement la déclaration de santé à l'entrée et qu'il avait tu certains éléments au docteur B._ lors de l'examen du 13 juin 2006. L'ensemble des prestations décès et invalidité était dès lors réduit aux prestations minimales selon la LPP, la réserve commençant dès l'affiliation et étant valable pour une durée de cinq ans. Par courrier du 24 juillet 2008, la fondation a informé V._ qu'elle lui allouait une rente d'invalidité de 566 fr. par mois à compter du 19 décembre 2007. En raison des fausses informations contenues dans le formulaire d'affiliation, seules les prestations conformes au minimum LPP lui étaient versées.
B. Après avoir requis en vain de l'institution de prévoyance le versement de prestations de la prévoyance surobligatoire, V._ a, par écriture datée du 26 juin 2009, assigné la fondation devant le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud en paiement de 48'067 fr. avec intérêts à 5 % dès le 15 août 2008 et, à compter du jour de la demande, d'une rente annuelle de 37'150 fr. (soit 3096 fr. par mois). La fondation a conclu au rejet de la demande.
Entre autres mesures d'instruction, la Cour des assurances sociales du Tribunal cantonal vaudois a requis des renseignements du docteur B._, qui a répondu le 27 juin 2011. Statuant le 13 septembre 2011, elle a débouté l'intéressé de ses conclusions.
C. Agissant par la voie du recours en matière de droit public, V._ demande au Tribunal fédéral de réformer le jugement cantonal, en ce sens que la fondation soit reconnue lui devoir un montant qui n'est pas inférieur à 116'372 fr. 35, avec intérêts à 5 % l'an dès le 1er octobre 2009, ainsi qu'une rente annuelle dont le montant n'est pas inférieur à 37'150 fr. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
La fondation conclut, à la forme, à l'irrecevabilité des conclusions du recourant en tant qu'elles constituent une amplification. Sur le fond, elle conclut principalement au rejet du recours et, à titre subsidiaire, au renvoi de la cause à la juridiction cantonale pour instruction et nouveau jugement. L'Office fédéral des assurances sociales a renoncé à se déterminer sur le recours. V._ a maintenu ses conclusions par courrier du 5 mars 2012.
Considérant en droit:
1. 1.1 Sous l'angle de la recevabilité du recours, on constate tout d'abord que même si les conclusions du recourant en instance fédérale diffèrent de celles de la demande du 26 juin 2006, comme le relève l'intimée, il ne s'agit pas de conclusions nouvelles au sens de l'art. 99 al. 2 LTF, selon lequel toute conclusion nouvelle est irrecevable. Le recourant chiffre simplement le montant des arriérés de rente - à partir du 1er décembre 2007 (cf. p. 13 de la demande du 26 juin 2009) - jusqu'à la date du dépôt de la demande devant la juridiction cantonale, respectivement jusqu'à celle de son recours devant le Tribunal fédéral, en adaptant la date à partir de laquelle des intérêts seraient dus selon lui (15 août 2008, respectivement 1er octobre 2009). Par ailleurs, au regard des conclusions en paiement d'un montant d'au moins 116'372 fr. 35 et d'une rente annuelle d'au moins 37'150 fr. ("qui n'est pas inférieur à") formulées en instance fédérale, le recours est recevable pour le montant minimal indiqué (cf. ATF 105 II 108 consid. 6 p. 316).
1.2 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
Le Tribunal fédéral applique par ailleurs le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140). Lorsqu'il s'agit, en particulier, de prestations de la prévoyance professionnelle, le Tribunal fédéral examine en principe librement les statuts et règlements d'institutions de prévoyance ou de fondations de libre passage de droit privé, en tant que contenu préformé du contrat de prévoyance (ATF 134 V 369 consid. 2 p. 371 et les arrêts cités).
2. Il n'est pas contesté que le recourant a droit à une rente d'invalidité au titre des prestations minimales obligatoires selon la LPP (art. 6 LPP). Est seul litigieux le droit à une rente d'invalidité plus élevée découlant de la prévoyance professionnelle plus étendue (art. 49 al. 2 LPP). Il s'agit, en particulier, de savoir si le recourant peut prétendre à cette prestation en dépit de la réserve grevant la couverture plus étendue, instituée le 21 août 2006.
3. 3.1 Dans les limites de la LPP, les institutions de prévoyance sont en droit d'aménager librement la prévoyance plus étendue, en vertu de l'autonomie que leur confère l'art. 49 al. 2 LPP. Elles sont notamment habilitées à restreindre la protection conférée par la couverture d'assurance en instaurant une réserve pour raisons de santé (aux conditions posées par l'art. 14 LFLP, qui ne sont pas déterminantes en l'espèce). Selon l'art. 331c CO, les institutions de prévoyance peuvent faire des réserves pour raisons de santé en relation avec les risques d'invalidité et de décès. La durée de ces réserves est de cinq ans au plus.
3.2 Une réserve pour raisons de santé est une restriction individuelle, concrète et limitée dans le temps de la couverture d'assurance dans un cas particulier (cf. ATF 127 III 235 consid. 2c p. 238). La réserve doit donc être formulée de façon explicite, datée et communiquée à l'assuré au moment de son entrée dans l'institution de prévoyance (arrêt B 110/01 du 24 novembre 2003 consid. 4.3, in SVR 2004 BVG n° 13 p. 40). Elle ne déploie ses effets qu'au moment où le cas d'assurance survient et qu'il en résulte un devoir pour l'assureur d'allouer des prestations. L'assureur est délié de son obligation de prester dans la mesure du risque réservé (arrêt 9C_104/2007 du 20 août 2007, in SVR 2008 BVG n° 18 p. 69).
3.3 Sous ses art. 1.4 ("Conditions particulières d'admission et de sortie") et 1.5 ("Visite médicale"), le Règlement du plan de prévoyance de la Caisse de retraite X._ gérée par la Fondation de prévoyance X._ en faveur du personnel des sociétés affiliées ou apparentées au holding X._ SA (ci-après: le règlement; version valable dès le 1er janvier 2005) prévoit les règles suivantes:
1.4.1 La couverture décès et invalidité est accordée pour autant que l'affilié jouisse de sa pleine capacité de gain lors de l'affiliation. A ce moment chaque affilié doit remplir véridiquement le formulaire "Déclaration de santé" pour son admission au plan de rentes ou au plan d'épargne.
S'il ne le fait pas dans les délais demandés, la Caisse de retraite X._ se réserve le droit de réduire les prestations décès et invalidité aux prestations minimales selon la LPP.
Les dispositions de l'article 1.5 demeurent réservées.
[...]
1.5.1 Le Conseil de Fondation peut exiger de tout nouvel affilié qu'il se soumettre à une visite médicale aux frais de la Caisse de retraite X._.
Il peut également exiger de tout affilié en incapacité de gain qu'il se soumette périodiquement à une visite médicale aux frais de la Caisse de retraite X._.
1.5.2 Si le résultat de la visite est défavorable, le Conseil de Fondation peut modifier les conditions d'assurance.
1.5.3 Les réserves médicales que peut émettre la Caisse de retraite X._ ne touchent pas la part de prestation correspondant au minimum légal prévu par la LPP. Leur durée ne peut excéder cinq ans.
Une réserve émise par l'ancienne institution de prévoyance peut être maintenue à condition toutefois que le temps de réserve déjà écoulé soit pris en compte. Si l'affilié devient invalide ou décède d'une affection ayant fait l'objet d'une réserve durant la période de validité de celle-ci, les prestations d'invalidité, de survivants ou d'enfants de la Caisse de retraite X._ sont réduites de manière permanente aux prestations minimales LPP.
1.5.4 La modification des conditions d'assurance sera notifiée à l'assuré sous pli recommandé.
4. 4.1 La juridiction cantonale a retenu qu'en renvoyant signé à l'intimé son courrier du 21 août 2006, le recourant avait accepté que l'institution de prévoyance modifie les conditions de son admission au plan de prévoyance plus étendue et ajoute une réserve dans le contrat initial. La lettre du 21 août 2006 comportait une réserve portant "sur les troubles de l'humeur, le diabète et l'hypertension artérielle ainsi que leurs conséquences" (réserve formulée par le médecin conseil le 14 juillet 2006). Dès lors que la formulation de la réserve, en tant que modification des conditions d'assurance, était prévue à l'art. 1.5 du règlement, la réserve communiquée à l'assuré le 21 août 2006 était valable. Par ailleurs, comme le recourant avait fourni des renseignements excessivement sommaires dans la "Déclaration de santé" du 8 juin 2005, puis lors de son examen par le médecin conseil auquel il n'avait pas indiqué souffrir d'une polyneuropathie, la formulation relativement large de la réserve était admissible.
Les premiers juges ont constaté ensuite que la polyneuropathie dont était atteint le recourant, et qui avait causé l'incapacité de travail à l'origine de l'invalidité reconnue par l'assurance-invalidité, constituait au vu des pièces médicales une conséquence du diabète. Elle faisait donc également l'objet de la réserve instaurée par l'institution de prévoyance, de sorte que celle-ci était fondée à refuser les prestations d'invalidité réclamées.
4.2 La lettre de l'intimée du 21 août 2006 porte sur l'instauration d'une réserve pour raisons médicales avec effet à partir du 1er juin 2005, date à partir de laquelle le recourant avait initialement été affilié sans réserve. Comme le fait valoir le recourant, la réserve a été formulée non pas au moment de son affiliation, mais avec effet rétroactif postérieurement à la survenance de l'incapacité de travail à l'origine de l'invalidité et à la fin des rapports de travail.
4.2.1 Selon la jurisprudence, dans le domaine de la prévoyance professionnelle plus étendue, une réserve avec effet rétroactif n'est pas valable, même dans le cas où l'assuré n'a pas répondu de manière conforme à la vérité aux questions relatives à son état de santé (questionnaire de santé) au moment de son affiliation - ce qui amène l'institution de prévoyance à ne pas formuler de réserve pour raisons de santé - et que l'institution de prévoyance découvre après coup la réticence de son assuré. Le Tribunal fédéral a jugé que l'art. 331c CO, et donc la possibilité d'émettre une réserve pour raisons de santé, ne vaut que pour les réserves que l'institution de prévoyance a émises lors de l'entrée de l'assuré dans l'institution de prévoyance (ATF 130 V 9 consid. 4.4 p. 24 s.; cf. aussi, Hermann Walser, LPP et LFLP, 2010, ad art. 14 LFLP, n° 10 p. 1541). Il a considéré que lorsque l'assuré viole son devoir de renseigner et que l'institution de prévoyance l'apprend après coup, elle ne peut corriger la situation qu'en se départissant du contrat de prévoyance (ATF 130 V 9 consid. 5.1 p. 15).
Certains auteurs, qui critiquent en partie l'arrêt cité, sont d'avis qu'à défaut de base légale (dans la LCA), une institution de prévoyance ne peut pas instaurer une réserve rétroactive de cinq ans lorsqu'elle découvre une réticence de la part de l'assuré, à moins qu'une telle possibilité ne soit prévue par son règlement (Streiff/von Kaenel, Arbeitsvertrag, Praxiskommentar zu Art. 319-362 OR, 6ème éd., 2006, ad art. 331c, N7 p. 506, qui se réfèrent à Brühwiler, Kommentar zum Einzelarbeitsvertrag, OR Art. 319-343, 2ème éd., 1996, ad art. 331c p. 263).
4.2.2 La réserve formulée le 14 juillet 2006 et communiquée au recourant par courrier du 21 août suivant n'est en l'espèce pas conforme aux conditions posées par la jurisprudence en raison de son caractère rétroactif. La possibilité d'instaurer une telle réserve avec effet rétroactif en cas de réticence de la part de l'assuré n'est pas non plus prévue par le règlement de l'intimée. L'art. 1.4.1 du règlement, concernant les conditions d'affiliation à l'institution de prévoyance, et dont on peut déduire que celle-ci a la possibilité d'instituer des réserves pour la part des prestations qui excèdent les prestations légales obligatoires, n'est pas pertinent. La réserve en cause a précisément été formulée bien après la phase d'admission, puisqu'elle a été instaurée près d'une année après l'affiliation du recourant en août 2005. Quant à l'art. 1.5.2 du règlement, il prévoit certes la possibilité pour la Caisse de retraite X._ d'émettre des réserves - modification des conditions d'assurance - pour les prestations allant au-delà du minimum légal prévu par la LPP, d'une durée ne pouvant excéder cinq ans. On peut par ailleurs déduire des art. 1.5.1 et 1.5.2, en relation avec l'art. 1.5.3, que les réserves peuvent être émises postérieurement à l'affiliation, après qu'un "affilié en incapacité de gain" se fût soumis à une visite médicale, dont le résultat aurait été défavorable (cf. toutefois la modification de l'art. 1.5.2 ["visite médicale à l'entrée"] dans la version en vigueur à partir du 1er janvier 2007). Ni l'art. 1.5, ni aucune autre disposition du règlement ne prévoient toutefois que les réserves puissent être émises avec un effet rétroactif.
En conséquence, la réserve en cause n'est pas valable en raison de son caractère rétroactif et l'institution de prévoyance ne pouvait s'en prévaloir pour refuser de prester. Contrairement à ce qu'ont retenu les premiers juges, le fait que le recourant a manifesté son accord avec la modification du contrat que représentait l'instauration de la réserve n'y change rien. La question de l'accord du recourant n'a aucune incidence parce que l'instauration en tant que telle d'une réserve pour raisons de santé par l'institution de prévoyance n'est pas soumise à acceptation. Par ailleurs, même si on suivait l'argumentation de l'intimée, selon laquelle elle a la possibilité d'émettre en tout temps des réserves modifiant les conditions d'assurance - ce qui n'est pas conforme à l'ATF 130 V 9 exposé ci-avant -, la réserve formulée le 14 juillet 2006 avec effet rétroactif ne serait de toute façon pas valable en l'absence de disposition réglementaire prévoyant la rétroactivité de la réserve.
5. A défaut de pouvoir invoquer la réserve avec effet rétroactif, l'institution de prévoyance pourrait encore fonder son refus de prestations sur une réticence du recourant (cf. ATF 130 V 9 consid. 5.1 p. 15). Le jugement entrepris ne comprend cependant pas de constatations de fait suffisantes à cet égard, sur la base desquelles le Tribunal fédéral pourrait examiner cette question (consid. 1.2 supra). Au regard de l'issue qu'elle a donnée au litige, la juridiction cantonale a en effet renoncé à se prononcer sur les arguments des parties "au sujet d'une éventuelle réticence imputable au demandeur, à cause de l'omission de déclarer un fait important" (consid. 6 du jugement attaqué) et n'a pas établi les faits pertinents dans ce contexte. Par conséquent, il convient de lui renvoyer la cause pour qu'elle examine les prétentions du recourant sous l'angle d'une éventuelle réticence et rende un nouveau jugement. En ce sens, le recours doit donc être admis.
6. Vu l'issue de la procédure, l'intimée supportera les frais judiciaires (art. 66 al. 1 LTF). Le recourant, qui obtient gain de cause, a droit à des dépens à la charge de l'intimée (art. 68 al. 1 LTF), de sorte que sa demande d'assistance judiciaire est sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement rendu le 13 septembre 2011 par le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, est annulé. La cause est renvoyée à l'autorité judiciaire de première instance pour qu'elle statue à nouveau conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless