Faits:
A. A.a V._ travaillait comme étancheur qualifié auprès de la société X._ SA. Le 20 juin 2002, il a fait une chute sur un chantier et s'est blessé à l'épaule droite. Le 30 juillet 2002, une imagerie par résonance magnétique (IRM) a mis en évidence une déchirure très importante du sus-épineux et une tendinopathie sévère du sous-scapulaire avec une probable déchirure partielle. Après avoir repris son activité à 50 % entre le 8 et le 19 juillet 2002, V._ a été mis en arrêt complet de travail dès le 22 juillet 2002. Il a subi deux interventions chirurgicales, d'abord le 9 septembre 2002 (acromioplastie et suture de la coiffe des rotateurs), puis le 13 janvier 2005. Par décision du 30 octobre 2006 et décision sur opposition du 1er mars 2007, la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA) a alloué à V._ une rente fondée sur un taux d'invalidité de 40 % à compter du 1er août 2006, et une indemnité pour atteinte à l'intégrité de 10 %.
A.b Entre-temps, le 4 juillet 2003, le prénommé a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a fait verser au dossier les rapports médicaux recueillis par la CNA, dont celui de la Clinique Y._ du 19 mai 2004 et ceux de la doctoresse A._, remplaçante du médecin d'arrondissement de la CNA (des 20 juin 2005 et 23 juin 2006). Du 16 janvier au 12 février 2006, V._ a suivi un stage d'observation professionnelle au Centre d'observation professionnelle de l'assurance-invalidité, COPAI (rapport du 28 février 2006). Le 16 mai 2007, l'office AI a informé l'assuré qu'il comptait lui reconnaître le droit à un quart de rente dès le 1er juin 2003, en considérant que sa capacité de travail était entière dans une activité adaptée. V._ a contesté ce point de vue en produisant un rapport du docteur S._, spécialiste FMH en chirurgie orthopédique, qui préconisait une nouvelle intervention opératoire (avis du 23 mars 2007). Par décision du 16 septembre 2008, l'office AI a alloué à l'assuré un quart de rente d'invalidité, fondé sur un degré d'invalidité de 42 %, à partir du 1er juin 2003.
B. B.a Saisi d'abord d'un recours de l'assuré contre la décision sur opposition de la CNA du 1er mars 2007, la Cour des assurances sociales du Tribunal cantonal vaudois a mandaté le docteur U._, spécialiste FMH en chirurgie orthopédique, pour une expertise. Le médecin a conclu qu'une capacité de travail totale dans un travail léger adapté lui paraissait illusoire et qu'aucune activité professionnelle n'était exigible en l'état avec un rendement suffisant pour être reclassé sur le marché du travail (rapport du 25 juin 2008). Le Tribunal a interpellé le docteur F._, chef du Service d'orthopédie et de traumatologie de la Clinique Z._, notamment sur l'exigibilité d'une intervention chirurgicale pour mettre en place une prothèse de l'épaule inversée. Se déterminant le 7 mai 2009, le médecin n'a pas retenu d'indication à une telle révision chirurgicale.
B.b V._ a également déféré la décision de l'office AI du 16 septembre 2008 à la Cour des assurances sociales du Tribunal cantonal, en se référant à l'expertise du docteur U._ pour conclure principalement à l'octroi d'une rente entière d'invalidité. Par jugement du 2 juillet 2010, le Tribunal a partiellement admis le recours et réformé la décision administrative en ce sens que le recourant a droit à une demi-rente d'invalidité, basée sur un taux d'invalidité de 54 %, dès le 1er juin 2003.
C. V._ interjette un recours en matière de droit public contre ce jugement. Il en demande la réforme et conclut, en substance, à la reconnaissance de son droit à une rente entière d'invalidité à partir du 1er juin 2003. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause au Tribunal cantonal vaudois pour complément d'instruction et nouvelle décision.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2. Le litige porte sur le point de savoir si le recourant a droit à une rente d'invalidité supérieure à la demi-rente que lui a accordée la juridiction cantonale à partir du 1er juin 2003. A cet égard, le jugement entrepris expose de manière exacte et complète les règles légales et la jurisprudence sur la notion d'invalidité et son évaluation, la valeur probante de rapports médicaux, ainsi que sur le principe de la libre appréciation des preuves. Il suffit dès lors d'y renvoyer.
3. Se plaignant d'arbitraire dans l'appréciation des preuves, le recourant reproche à la juridiction cantonale de s'être écartée sans motifs suffisants de l'expertise judiciaire du docteur U._ pour déterminer sa capacité de travail résiduelle (une incapacité totale de travail ayant été admise dans sa profession d'étancheur). Il se réfère à l'arrêt rendu par la Cour des assurances sociales du Tribunal cantonal vaudois le 29 mars 2010 dans la procédure parallèle le concernant en matière d'assurance-accidents (AA 50/07) pour soutenir que l'état de son épaule droite s'était nettement péjoré comme l'avaient constaté les juges cantonaux en s'appuyant sur les observations du docteur U._. Il en déduit que l'autorité de recours de première instance ne pouvait, sans faire preuve d'arbitraire, s'écarter de l'expertise judiciaire et suivre l'appréciation des médecins de Y._ et de la doctoresse A._, qui n'avaient pas connaissance ni, partant, tenu compte d'une telle évolution négative. Par ailleurs, dès lors que le docteur M._, médecin auprès du Service médical régional AI (SMR) s'était prononcé sur l'expertise du docteur U._ sans examiner l'assuré et sans être spécialisé en chirurgie orthopédique, les premiers juges ne pouvaient se reposer sur son avis pour remettre en cause l'appréciation de l'expert judiciaire, qui avait une valeur probante supérieure.
4. 4.1 Dans le jugement entrepris, examinant le rapport d'expertise du 25 juin 2008, la juridiction cantonale a retenu que le docteur U._ avait, d'une part, décrit les plaintes du patient comme étant des "douleurs continues, jour et nuit, mais modérées, ne nécessitant pas la prise systématique d'un antalgique ou d'un anti-inflammatoire". D'autre part, l'expert avait conclu que les limitations fonctionnelles antalgiques du membre supérieur droit de l'assuré contre-indiquaient l'exercice de toute activité professionnelle avec un rendement suffisant pour être exploitable, dans la mesure où une douleur importante chronique abaissait le seuil de résistance global à la douleur et empêchait de se concentrer de manière suffisamment importante pour permettre une activité quelconque sur plusieurs heures par jour.
Selon les premiers juges, l'appréciation du docteur U._ n'était ni étayée, ni convaincante. Seule une diminution du rendement au travail en raison des douleurs résiduelles de 20 %, telle que mise en évidence par le docteur M._ du SMR (avis du 27 février 2009), pouvait être admise au regard des éléments médicaux objectifs, mais non pas une diminution de rendement proche de 100 % telle que reconnue par l'expert. Par ailleurs, les troubles de la concentration et du sommeil évoqués par le docteur U._ ne pouvaient pas être pris en considération pour établir la capacité de travail du recourant, dès lors que le caractère particulièrement invalidant n'en était pas étayé par des constatations objectives précises. L'expert n'avait en effet pas testé le pouvoir de concentration de l'assuré et s'était fondé sur les seules déclarations de celui-ci quant aux fréquences de réveil durant la nuit pour douter des possibilités pour le recourant de se concentrer plusieurs heures et d'avoir un rendement efficace.
En définitive, la juridiction cantonale a constaté que dans une activité adaptée aux limitations fonctionnelles objectives définies par Y._ et la doctoresse A._ (à savoir un emploi sans port de charges supérieures à 25 kg, pas de travail prolongé et répétitif au-dessus du plan des épaules, pas de travail de force avec le membre supérieur droit), le recourant conservait une pleine capacité de travail avec une diminution de rendement de 20 % en raison des douleurs résiduelles.
4.2 Dans son arrêt du 29 mars 2010 concernant les prestations de l'assurance-accidents litigieuses entre le recourant et la CNA - dont elle n'a pas jugé utile de mentionner le prononcé dans le jugement entrepris -, la juridiction cantonale a également examiné l'aptitude du recourant à travailler dans une activité adaptée à la lumière de l'expertise du docteur U._. Comparant les résultats de l'analyse de la mobilité active et de la rotation de l'épaule droite effectuée par les médecins de Y._ (rapport du 29 avril 2004), la doctoresse A._ (rapports des 20 juin 2005 et 23 juin 2006) et du docteur U._, elle en a déduit que la symptomatologie de l'épaule droite du recourant avait suivi une évolution négative. Se fondant sur les constatations de l'expert judiciaire quant aux limitations fonctionnelles du bras droit de l'assuré (celui-ci ne pouvait pas rester longtemps dans une position permettant un appui du bras droit pour pouvoir effectuer un travail de manière régulière avec un rendement correct), elle a considéré qu'il était prouvé avec une vraisemblance suffisante qu'une activité professionnelle impliquant un usage régulier du bras droit n'était pas exigible. Comme l'assureur-accidents avait retenu, pour déterminer le revenu d'invalide, des descriptions de poste impliquant pour la plupart le maniement d'outils avec les deux mains, l'autorité cantonale de recours a renvoyé la cause à la CNA pour qu'elle évalue l'aptitude de l'assuré à travailler dans une activité adaptée qui ne requérait pas l'utilisation régulière du bras droit, puis se prononce à nouveau sur le droit à la rente.
4.3 Au regard des constatations divergentes qu'a faites la juridiction cantonale quant à la capacité de travail résiduelle du recourant en se fondant sur les mêmes pièces médicales (sous réserve de l'avis du SMR du 27 février 2009), l'appréciation des preuves à laquelle elle a procédé dans la procédure concernant les prestations de l'assurance-invalidité - seules déterminantes ici, dans la mesure circonscrite ci-avant (supra consid. 2) - est arbitraire. Il apparaît en effet insoutenable de tirer d'une même expertise judiciaire des conclusions différentes, le recourant étant d'abord jugé capable d'exercer une activité adaptée ne requérant pas l'utilisation régulière du bras droit, puis - trois mois plus tard - apte à travailler à plein temps, avec un rendement réduit de 20 %, dans une activité adaptée (sans restriction quant à l'utilisation des deux membres supérieurs, hormis le port de charges de plus de 25 kg, un travail prolongé et répétitif au-dessus du plan des épaules et un travail de force avec le membre supérieur droit). Dans le jugement entrepris, les premiers juges ont dans une très large mesure fait l'impasse sur les constatations du docteur U._ relatives aux limitations fonctionnelles du membre supérieur droit de l'assuré, ainsi que sur l'existence d'une péjoration de l'état du bras droit tirée d'une comparaison des rapports de Y._, de la doctoresse A._ et de l'expert judiciaire. Or, ces (nouveaux) éléments rendaient obsolètes les constatations faites par les médecins de Y._ et la doctoresse A._ à une époque où l'état du membre supérieur droit ne s'était pas encore aggravé. Dès lors que la juridiction cantonale a établi les faits concernant la capacité de travail du recourant de manière arbitraire, ses constatations ne peuvent être suivies (cf. <ref-law>).
4.4 Contrairement à ce que voudrait le recourant, on ne saurait toutefois, sans autre mesure d'instruction, se fonder sur les conclusions du docteur U._ pour retenir qu'il présente une incapacité totale de travail dans toute activité.
4.4.1 Selon l'expert judiciaire, depuis la seconde intervention chirurgicale, l'état du recourant s'était péjoré, puisqu'était apparue une instabilité/subluxation antéro-supérieure du deltoïde (constatée en premier par le docteur S._ en 2007). Sur le plan professionnel, il lui paraissait très illusoire de conclure à une capacité totale de travail dans une activité légère et adaptée, dès lors que la présence de douleurs constantes, jour et nuit, empêchait d'avoir un sommeil réparateur, sans réveil fréquent, et rendait peu plausible la possibilité de se concentrer plusieurs heures et d'avoir un rendement efficace. Le docteur U._ a encore expliqué que l'importance de la douleur chronique, les limitations fonctionnelles et les troubles du sommeil rendaient quasiment toutes les activités professionnelles irréalistes; une activité même adaptée régulière était illusoire, puisque si le patient était apte à travailler certains jours où il avait bien dormi, il ne l'était pas à d'autres moments en fonction des douleurs.
4.4.2 Il ressort de ces constatations que l'expert justifie l'incapacité de l'assuré d'exercer toute activité adaptée, même à un taux limité, par la conjonction des trois éléments que sont les limitations fonctionnelles de l'épaule droite, l'importance de la douleur chronique et les troubles du sommeil. Or, à la suite de la juridiction cantonale, on constate que l'influence des douleurs sur la capacité de travail n'est pas suffisamment étayée, dans la mesure où ces douleurs sont qualifiées de très importantes, alors qu'elles sont décrites, selon les plaintes de l'assuré, comme modérées et ne nécessitant pas la prise systématique d'un antalgique ou d'un anti-inflammatoire. L'expert n'explique pas cette divergence, pas plus, par ailleurs, qu'il ne motive son appréciation des troubles du sommeil et de la concentration par des constatations objectives précises. En particulier, il ne se prononce pas sur les possibilités thérapeutiques susceptibles, le cas échéant, de soulager les douleurs du recourant et d'améliorer par ce biais la qualité de son sommeil, mais affirme d'emblée le caractère incapacitant de ces éléments, tout en admettant que l'assuré serait apte certains jours - après une bonne nuit de sommeil - à travailler.
4.4.3 Dans ces circonstances, il convenait de procéder à une instruction complémentaire en requérant de l'expert judiciaire qu'il précisât ses constatations et se prononçât sur les aspects insuffisamment étayés de ses conclusions. On ajoutera qu'il ne suffisait pas, dans ce contexte, de se référer à l'avis du docteur M._ pour écarter l'expertise et conclure à une diminution de rendement de 20 % en raison des douleurs résiduelles. Dans son rapport, qui n'est pas dénué de toute valeur probante même s'il a été rendu sans examen médical de l'assuré (cf. arrêt 9C_581/2007 du 14 juillet 2008 consid. 3.2 et les arrêts cités), le médecin du SMR se limite en quelques lignes à affirmer que le status "est pratiquement superposable avec ce que nous connaissions déjà" - ce qui est précisément contredit par la comparaison des rapports médicaux effectuée par la juridiction cantonale dans son jugement du 29 mars 2010 - et à admettre en citant "l'expérience" une diminution de rendement de 20 % pour les douleurs résiduelles. Une telle appréciation, insuffisamment étayée et fondée sur la seule expérience du praticien, si elle était susceptible de mettre en évidence la nécessité de compléter l'instruction par des questions complémentaires au docteur U._, ne permettait pas de nier toute valeur probante aux conclusions de ce dernier.
4.5 Vu ce qui précède, il y a lieu d'annuler le jugement entrepris et de renvoyer la cause à la juridiction cantonale pour qu'elle complète l'instruction relative à la capacité de travail résiduelle du recourant et se prononce à nouveau sur son droit éventuel à une rente d'invalidité supérieure à une demi-rente. La conclusion subsidiaire du recourant est par conséquent bien fondée.
5. L'intimé succombe, si bien que les frais judiciaires doivent être mis à sa charge (<ref-law>), de même que l'indemnité de dépens à laquelle a droit le recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement de la Cour des assurances sociales du Tribunal cantonal vaudois du 2 juillet 2010 est annulé. La cause est renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 26 avril 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless