Faits: A. A.a C._ a effectué un apprentissage de dessinateur en bâtiment auprès de la société X._ SA (ci-après: la société) entre août 2001 et août 2006. A partir du 1er janvier 2007, il a été engagé en qualité de dessinateur en bâtiment par son entreprise formatrice, qui l'a assuré en prévoyance professionnelle auprès des Retraites Populaires à Lausanne. Le 1er avril 2008, C._ a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Au cours de l'instruction, l'Office cantonal de l'assurance-invalidité pour le canton de Vaud, a recueilli l'avis (du 11 avril 2008) du docteur O._, spécialiste FMH en psychiatrie et psychothérapie et médecin traitant de l'assuré, qui s'était exprimé à la demande de l'assureur perte de gain en cas de maladie de l'employeur. Le médecin a fait état d'une affection psychiatrique ayant débuté en été 2003 sous la forme d'une symptomatologie psychotique, suivie, en août 2006, d'une décompensation aiguë sur le mode d'un trouble psychotique aigu avec symptômes schizophréniques; après que le patient avait réussi à débuter un premier emploi en tant que dessinateur en bâtiment en janvier 2007, l'apparition d'angoisses et de troubles du sommeil avait conduit à une incapacité de travail de 60 % dès le 1er mai 2007 et de 100 % depuis le 1er août 2007 (cf. aussi les certificats des 3 mai et 26 juillet 2007). Par décisions des 4 juillet et 12 septembre 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a octroyé à C._ une rente entière d'invalidité à partir du 1er janvier 2008. A.b Entre-temps, le 6 mai 2008, l'employeur de C._ a annoncé le cas d'assurance aux Retraites Populaires, qui ont refusé de lui reconnaître un droit à des prestations d'invalidité. En bref, l'institution de prévoyance a considéré que l'activité professionnelle exercée au début de l'année 2007 n'avait pas interrompu la connexité temporelle entre l'affection dont souffrait l'assuré depuis 2003 et l'incapacité de travail ayant conduit à l'invalidité. B. Le 28 novembre 2008, C._ a ouvert action contre les Retraites Populaires devant le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales) et conclu à l'octroi d'une rente d'invalidité de la prévoyance professionnelle conformément au règlement de l'institution de prévoyance. Par jugement du 30 mai 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté la demande. C. C._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il reprend principalement les conclusions prises en première instance et conclut, à titre subsidiaire, au renvoi de la cause à la juridiction cantonale pour complément d'instruction. Les Retraites populaires concluent au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.