Faits:
A. A.a C._ a effectué un apprentissage de dessinateur en bâtiment auprès de la société X._ SA (ci-après: la société) entre août 2001 et août 2006. A partir du 1er janvier 2007, il a été engagé en qualité de dessinateur en bâtiment par son entreprise formatrice, qui l'a assuré en prévoyance professionnelle auprès des Retraites Populaires à Lausanne.
Le 1er avril 2008, C._ a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Au cours de l'instruction, l'Office cantonal de l'assurance-invalidité pour le canton de Vaud, a recueilli l'avis (du 11 avril 2008) du docteur O._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant de l'assuré, qui s'était exprimé à la demande de l'assureur perte de gain en cas de maladie de l'employeur. Le médecin a fait état d'une affection psychiatrique ayant débuté en été 2003 sous la forme d'une symptomatologie psychotique, suivie, en août 2006, d'une décompensation aiguë sur le mode d'un trouble psychotique aigu avec symptômes schizophréniques; après que le patient avait réussi à débuter un premier emploi en tant que dessinateur en bâtiment en janvier 2007, l'apparition d'angoisses et de troubles du sommeil avait conduit à une incapacité de travail de 60 % dès le 1er mai 2007 et de 100 % depuis le 1er août 2007 (cf. aussi les certificats des 3 mai et 26 juillet 2007).
Par décisions des 4 juillet et 12 septembre 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a octroyé à C._ une rente entière d'invalidité à partir du 1er janvier 2008.
A.b Entre-temps, le 6 mai 2008, l'employeur de C._ a annoncé le cas d'assurance aux Retraites Populaires, qui ont refusé de lui reconnaître un droit à des prestations d'invalidité. En bref, l'institution de prévoyance a considéré que l'activité professionnelle exercée au début de l'année 2007 n'avait pas interrompu la connexité temporelle entre l'affection dont souffrait l'assuré depuis 2003 et l'incapacité de travail ayant conduit à l'invalidité.
B. Le 28 novembre 2008, C._ a ouvert action contre les Retraites Populaires devant le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales) et conclu à l'octroi d'une rente d'invalidité de la prévoyance professionnelle conformément au règlement de l'institution de prévoyance. Par jugement du 30 mai 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté la demande.
C. C._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il reprend principalement les conclusions prises en première instance et conclut, à titre subsidiaire, au renvoi de la cause à la juridiction cantonale pour complément d'instruction.
Les Retraites populaires concluent au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2. 2.1 Est litigieux le droit du recourant à une rente d'invalidité de la prévoyance professionnelle de la part de l'intimée. A cet égard, le jugement entrepris expose correctement les dispositions légales sur le droit à des prestations d'invalidité de la prévoyance professionnelle obligatoire, ainsi que sur la notion d'incapacité de travail et le double critère de la connexité matérielle et temporelle entre l'incapacité de travail et l'invalidité exigé par la jurisprudence pour fonder l'obligation de prester d'une institution de prévoyance à laquelle était affiliée l'intéressé (ATF 130 V 270 consid. 4.1 p. 275 et les arrêts cités). Il suffit d'y renvoyer.
2.2 On rappellera cependant que la relation de connexité temporelle suppose qu'après la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité, la personne assurée n'ait pas à nouveau été capable de travailler pendant une longue période. L'existence d'un tel lien doit être examiné au regard de l'ensemble des circonstances du cas d'espèce, tels la nature de l'atteinte à la santé, le pronostic médical, ainsi que les motifs qui ont conduit la personne assurée à reprendre ou ne pas reprendre une activité lucrative.
En ce qui concerne la durée de la capacité de travail interrompant le rapport de connexité temporelle, on peut s'inspirer de la règle de l'art. 88a al. 1 RAI comme principe directeur. Conformément à cette disposition, il y a lieu de prendre en compte une amélioration de la capacité de gain ayant une influence sur le droit à des prestations lorsqu'elle a duré trois mois, sans interruption notable, et sans qu'une complication prochaine soit à craindre. Lorsque l'intéressé dispose à nouveau d'une pleine capacité de travail pendant au moins trois mois et qu'il apparaît ainsi probable que la capacité de gain s'est rétablie de manière durable, il existe un indice important en faveur de l'interruption du rapport de connexité temporelle. Il en va différemment lorsque l'activité en question, d'une durée éventuellement plus longue que trois mois, doit être considérée comme une tentative de réinsertion ou repose de manière déterminante sur des considérations sociales de l'employeur et qu'une réadaptation durable apparaissait peu probable (ATF 134 V 20 consid. 3.2.1 p. 22 s. et les arrêts cités).
2.3 Les constatations de la juridiction cantonale relatives à l'incapacité de travail résultant d'une atteinte à la santé (survenance, degré, durée, pronostic) relèvent d'une question de fait et ne peuvent donc être examinées par le Tribunal fédéral que sous un angle restreint, dans la mesure où elles reposent sur une appréciation concrète des circonstances du cas d'espèce (consid. 1 supra; arrêt 9C_182/2007 du 7 décembre 2007 consid. 4.1.1 [résumé dans la RSAS 2008 p. 383]). Les conséquences que tire l'autorité cantonale de recours des constatations de fait quant à la connexité temporelle sont en revanche soumises, en tant que question de droit, au plein pouvoir d'examen du Tribunal fédéral (arrêt 9C_292/2008 du 22 août 2008).
3. La juridiction cantonale a tout d'abord constaté qu'il existait un lien de connexité matérielle entre l'atteinte à la santé (troubles de nature schizophrénique) à l'origine de périodes d'incapacité de travail survenues avant l'affiliation du recourant à l'intimée et l'invalidité. Elle a ensuite examiné si la période durant laquelle le recourant avait travaillé pour la société avait été suffisamment longue pour interrompre le lien de connexité temporelle entre l'incapacité de travail antérieure à l'affiliation et l'invalidité survenue postérieurement à celle-ci. Elle a retenu que pendant la période où il avait travaillé au service de la société, le recourant avait présenté une pleine capacité de travail du 3 janvier au 30 avril 2007. Nonobstant ce laps de temps supérieur à trois mois, la capacité de travail ne s'était cependant pas rétablie de façon suffisamment durable pendant cette période pour interrompre le rapport de connexité temporelle existant avec l'affection dont souffrait le recourant depuis 2003, respectivement 2006.
Pour arriver à cette conclusion, la juridiction cantonale s'est fondée sur le rapport du docteur O._ du 15 juin 2007, selon lequel l'affection survenue au cours du printemps 2007 s'inscrivait dans l'évolution intermittente de la maladie psychotique du registre schizophrénique ayant débuté en 2003. Les premiers juges ont considéré que l'affection dont souffrait le recourant était d'évolution fluctuante dans le temps avec une alternance de rechutes et de rémissions plus ou moins marquées et durables. En présence d'une affection de ce type, ils ont retenu que le caractère « surprenant » (qualification employée par le docteur O._) de la récupération du recourant après la décompensation d'août 2006 et la rapidité avec laquelle étaient réapparus les angoisses et les troubles du sommeil après la reprise du travail le 3 janvier 2007 tendaient à démontrer que le recourant ne s'était pas véritablement remis des troubles qui l'avaient préalablement affecté et qui avaient justifié plusieurs séjours en clinique ainsi qu'un aménagement de son apprentissage. L'autorité judiciaire de première instance a donc déduit de ces divers éléments, et du défaut d'indices suffisants pour retenir la présence d'un pronostic favorable, que le recourant n'avait pas recouvré, lorsqu'il a exercé son activité de dessinateur en bâtiment - qui devait être qualifiée de tentative échouée de remise au travail -, une capacité de travail suffisamment durable pour interrompre le rapport de connexité temporelle. L'institution de prévoyance n'était par conséquent pas tenue à prester et la demande du recourant devait être rejetée.
4. 4.1 Le recourant reproche à la juridiction cantonale d'avoir fait une interprétation arbitraire du rapport médical du docteur O._ du 29 août 2007 en retenant que la récupération « surprenante » après la décompensation d'août 2006, démontrait que l'évolution de la maladie devait être appréciée avec une certaine précaution. Pour le recourant, il s'agit d'une interprétation négative, voire défavorable, alors que l'avis médical devait permettre de poser un pronostic plutôt encourageant. De plus, le recourant conteste que son emploi puisse être considéré comme une tentative de remise au travail qui se serait soldée par un échec. En réalité, il s'agissait d'un travail avec un horaire ordinaire et non d'une tentative de réinsertion professionnelle.
4.2 Au regard des constatations de la juridiction cantonale (qui lient le Tribunal fédéral, consid. 1 supra), il est établi que le recourant souffre d'une maladie à évolution intermittente (« Schubkrankheit »). Compte tenu des rapports du docteur O._ sur lesquels il convient de se fonder pour compléter les faits constatés par les premiers juges (consid. 1 supra), il apparaît que pendant toute la période où il a travaillé, le recourant a suivi un traitement pour son affection. Le médecin traitant a ainsi indiqué que le recourant, qui était son patient depuis octobre 2006, bénéficiait de consultations hebdomadaires ainsi que, ponctuellement, d'entretiens de famille avec la doctoresse A._ (rapports des 29 août 2007 et 11 avril 2008).
Dans ces circonstances, et contrairement à ce que soutient le recourant, on ne saurait déduire de l'appréciation du docteur O._ que le pronostic était « plutôt encourageant » après la décompensation d'août 2006. Le médecin a en effet fait état d'une « évolution défavorable depuis le début du printemps [2007] » avec l'apparition d'angoisses et de troubles du sommeil ayant amené à une incapacité croissante de satisfaire aux exigences professionnelles et motivé une incapacité de travail partielle depuis le 1er mai 2007 (rapport du 29 août 2007). Si le médecin traitant a certes mentionné des éléments de pronostic favorable, tels que mis en évidence par le recourant (bonne capacité d'« insight » du patient, milieu familial intact), il en a cependant fait état seulement dans son rapport du 11 avril 2008 pour apprécier la situation à ce moment-là et en a, de plus, nuancé l'influence en concluant au caractère très invalidant de la symptomatologie (« Actuellement, la symptomatologie déficitaire est massivement invalidante, mais il existe quelques facteurs de bon pronostic [...] »).
Dès lors que les rapports antérieurs du docteur O._ ne comprenaient aucun indice d'un pronostic favorable, la juridiction cantonale n'en a pas, quoi qu'en dise le recourant, fait une appréciation insoutenable. En particulier, son interprétation de la surprise manifestée par le médecin traitant à l'égard du fait que le patient avait récupéré après la décompensation aigüe en août 2006 n'est pas insoutenable, puisque le docteur O._, loin de mettre en évidence des signes encourageants, explique qu'après une première période de relative stabilisation, l'évolution était défavorable (« on assiste à une évolution vers un état déficitaire »; rapport du 11 avril 2008). Eu égard en outre à la nécessité d'un suivi médical régulier par le médecin traitant et l'apparition rapide d'angoisses et de troubles du sommeil à la suite de la reprise d'une activité lucrative à plein temps au début de janvier 2007, l'appréciation de la juridiction cantonale quant au caractère non durable de l'amélioration de l'état de santé du recourant n'est pas arbitraire, l'écoulement du délai de trois mois n'étant pas à lui seul suffisant pour la remettre en cause. L'autorité cantonale de recours pouvait donc sans violer le droit fédéral admettre que la capacité de travail et de gain du recourant n'était pas suffisamment stable et durable lorsqu'il a travaillé entre le 3 janvier et le 30 avril 2007, pour interrompre le rapport de connexité temporelle entre l'affection apparue dès 2003 et la survenance de l'incapacité de travail ayant conduit à l'invalidité.
5. 5.1 Le recourant se prévaut encore d'une violation du droit d'être entendu en ce que la juridiction cantonale n'a pas donné suite à ses demandes de preuve et qu'elle a statué sans requérir sa prise de position sur la question du pronostic à poser pour se prononcer sur la connexité temporelle.
5.2 Dès lors que la juridiction cantonale disposait de suffisamment d'éléments au dossier pour se prononcer en connaissance de cause sur la capacité de travail du recourant et la durée de celle-ci, elle n'a pas violé le droit d'être entendu du recourant en renonçant, par une appréciation anticipée des preuves (sur cette notion en général: ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2 p. 428) à administrer les preuves requises en instance cantonale.
Par ailleurs, le fait que le recourant n'a pas été appelé à prendre position précisément au sujet du pronostic relatif à son état de santé ne constitue à l'évidence pas une violation de son droit d'être entendu. Cet aspect était en effet inclus dans l'appréciation globale de la problématique de la connexité temporelle et le recourant a eu la possibilité de se déterminer sur ce point au cours de l'échange d'écriture, sans qu'il fût nécessaire de l'y inviter formellement.
6. Il résulte de ce qui précède que le recours est mal fondé.
7. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'a par ailleurs pas droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless