Faits:
A. P._ a travaillé comme maçon-carreleur pour la société X._ SA à partir du 1er juillet 1997. Ayant subi deux accidents qui ont entraîné notamment une entorse de la cheville gauche et une contusion de l'épaule gauche, respectivement de l'épaule droite, il a présenté une demande de prestations de l'assurance-invalidité le 30 décembre 2002. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements médicaux et économiques, avant de soumettre l'assuré à un examen bidisciplinaire auprès de son Service médical régional (SMR; rapport du 10 août 2004).
Après avoir transmis un projet de décision à P._, dont celui-ci a contesté les termes, l'office AI a chargé la Clinique Y._ d'une expertise interdisciplinaire. Dans leur rapport du 17 juillet 2007, dont les conclusions ont été précisées par le docteur B._ sur interpellation de l'office AI (courrier au docteur M._ du SMR du 2 avril 2008), les docteurs A._, psychiatre et psychothérapeute, et C._, spécialiste en rhumatologie, médecine physique et rééducation, ont diagnostiqué, avec répercussion sur la capacité de travail, entre autres atteintes, des omalgies bilatérales persistantes sur status post acromioplastie et réinsertion du tendon sus-épineux de l'épaule gauche et sur status post réinsertion d'une rupture complète du sus-épineux, partielle du sous-épineux et acromioplastie de l'épaule droite, des lombalgies chroniques avec sciatalgies gauches non déficitaires de type mécanique et des gonalgies bilatérales à prédominance gauche (status post arthoscopie/arthrotomie). Les médecins ont conclu qu'une activité adaptée aux limitations décrites dans leur rapport était exigible de la part de l'assuré à plein temps, mais avec une diminution de rendement de 20 à 30 %. Le SMR s'étant prononcé à nouveau dans un avis du 15 avril 2008, l'office AI a rendu une décision, le 8 juillet 2009, par laquelle il a nié le droit de l'assuré à une rente, au motif que le taux d'invalidité de 17 % obtenu après la comparaison des revenus déterminants n'ouvrait pas le droit à cette prestation.
B. Statuant le 15 février 2010 sur le recours formé par l'intéressé, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud l'a rejeté.
C. P._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut au renvoi de la cause à l'office AI pour instruction complémentaire sur le plan médical et économique, puis nouvelle décision.
L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
1.2 Conformément aux principes relatifs au pouvoir d'examen du Tribunal fédéral développés dans l'ATF 132 V 393 consid. 3 p. 397 s., les constatations de l'autorité cantonale de recours sur la capacité de travail de l'assuré et l'exigibilité relèvent d'une question de fait (ATF 132 V 393 consid. 3.2 p. 398). Quant aux règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus (prévue à l'art. 16 LPGA), y compris celles concernant l'utilisation de l'Enquête suisse sur la structure des salaires (ESS), elles relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit si elle se fonde sur l'expérience générale de la vie.
2. Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité. A cet égard, le jugement entrepris expose correctement les dispositions légales relatives à la notion d'invalidité et à l'évaluation de l'incapacité de gain des assurés exerçant une activité lucrative, ainsi que les principes jurisprudentiels sur la valeur probante d'un rapport médical. On peut donc y renvoyer.
3. Pour déterminer la capacité de travail du recourant, les premiers juges se sont fondés sur les conclusions de l'expertise de la Clinique Y._, à laquelle ils ont accordé pleine valeur probante et qu'ils ont préférée aux avis des médecins consultés par l'assuré et du SMR, ainsi qu'au rapport de stage, en en indiquant les raisons. Ils ont constaté que le recourant présentait depuis le mois de juin 2002 une incapacité totale de travail dans le métier exercé jusqu'alors, mais disposait en revanche d'une capacité de travail résiduelle de 75 % (en raison d'une diminution de rendement de 25 %) dans une activité adaptée à ses limitations fonctionnelles. En particulier, ils ont considéré qu'au regard de la fourchette de 20 à 30 % de diminution de rendement admise par les docteurs A._ et C._, il y avait lieu de retenir un taux de 25 % (soit le milieu de la fourchette indiquée par les experts). En fonction de la capacité résiduelle de travail de 75 % (en raison d'une diminution de rendement de 25 %) ainsi constatée, l'autorité cantonale de recours a ensuite évalué le taux d'invalidité en comparant les salaires déterminants en application de la méthode de la comparaison des revenus. Fixant à 60'892 fr. le revenu sans invalidité (en 2003) et à 38'480 fr. 40 celui avec invalidité en confirmant l'abattement de 10 % sur le revenu statistique effectué par l'intimé, elle a constaté que le recourant présentait un taux d'invalidité de 37 %, lequel était insuffisant pour ouvrir le droit à une rente d'invalidité.
4. 4.1 Reprochant aux premiers juges d'avoir fixé arbitrairement le degré d'invalidité, le recourant soutient tout d'abord qu'ils ne pouvaient retenir une diminution de rendement au milieu de la fourchette proposée par les experts, mais auraient dû ordonner une instruction complémentaire pour fixer plus précisément cette diminution parce que le taux d'invalidité se situait à proximité d'une valeur limite (soit une valeur ouvrant le droit à une rente).
4.2 Ce grief est mal fondé. Lorsque, comme en l'espèce, un rapport médical indique la capacité de travail sous la forme d'une fourchette de valeurs (ici, 20 à 30 %), il convient en règle générale de se fonder sur la valeur moyenne, ce qui permet d'éviter les inégalités de traitement résultant de ce genre d'évaluation (arrêts 9C_776/2009 du 11 juin 2010 consid. 3.3 et I 822/04 du 21 avril 2005 consid. 4.4 et les arrêts cités; Meyer, Bundesgesetz über die Invalidenversicherung [IVG], 2e éd., 2010, p. 352). Il n'y a pas lieu, en l'occurrence, de s'écarter de cette règle, quoi qu'en dise le recourant, qui cite en vain les rapports de la doctoresse L._ et de la Fondation "Z._" à l'appui de la prise en compte de la valeur supérieure de 30 %. Les premiers juges n'ont en effet pas suivi ces évaluations, en procédant à une appréciation globale des preuves qui n'apparaît nullement arbitraire, ni quant aux motifs évoqués pour écarter ces moyens de preuve, ni dans son résultat. C'est en vain, par ailleurs, que le recourant se réfère à deux arrêts du Tribunal fédéral (I 521/03 du 28 juillet 2004 et I 483/02 du 6 juin 2003) qu'il qualifie de "cas similaires". Les raisons pour lesquelles le Tribunal fédéral avait ordonné un renvoi à l'administration pour instruction complémentaire dans les deux causes n'étaient pas (ou en tout cas pas exclusivement) liées à une évaluation médicale de la diminution de rendement sous la forme d'une fourchette de valeurs, de sorte que le recourant ne peut rien en tirer en sa faveur. En conséquence, le Tribunal fédéral n'a pas à s'écarter de la constatation de la juridiction cantonale relative à la capacité de travail résiduelle de 75 % dans une activité adaptée, une instruction complémentaire sur ce point n'étant pas nécessaire.
5. Dans un second moyen, le recourant s'en prend à l'abattement opéré par la juridiction cantonale sur le salaire avec invalidité résultant des statistiques ESS. A son avis, en appliquant une déduction en raison uniquement des limitations fonctionnelles qu'il présentait, les premiers juges n'ont à tort pas tenu compte d'autres facteurs déterminants, tel son âge, son manque de polyvalence dû à une expérience professionnelle relativement limitée, sa nationalité (italienne) et la diminution du rendement, au regard desquels un abattement de 10 % apparaissait insuffisant.
5.1 Alors que le point de savoir s'il y a lieu de procéder à un abattement sur le salaire statistique en raison de circonstances particulières (liées au handicap de la personne ou d'autres facteurs) est une question de droit qui peut être examinée librement par le Tribunal fédéral, l'étendue de l'abattement du salaire statistique dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunter-schreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci (ATF 132 V 393 consid. 3.3 p. 399).
Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (ATF 123 V 150 consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième. Il y a également excès du pouvoir d'appréciation dans le cas où l'excès de pouvoir est négatif, soit lorsque l'autorité considère qu'elle est liée, alors que la loi l'autorise à statuer selon son appréciation, ou qu'elle renonce d'emblée en tout ou partie à exercer son pouvoir d'appréciation (ATF 116 V 307 consid. 2 p. 310 et les références).
5.2 Contrairement au pouvoir d'examen du Tribunal fédéral, celui de l'autorité judiciaire de première instance n'est en revanche pas limité dans ce contexte à la violation du droit (y compris l'excès ou l'abus du pouvoir d'appréciation), mais s'étend également à l'opportunité de la décision administrative ("Angemessenheitskontrolle"). En ce qui concerne l'opportunité de la décision en cause, l'examen porte sur le point de savoir si une autre solution que celle que l'autorité, dans un cas concret, a adoptée dans le cadre de son pouvoir d'appréciation et en respectant les principes généraux du droit, n'aurait pas été plus judicieuse quant à son résultat. A cet égard, le juge des assurances sociales ne peut, sans motif pertinent, substituer sa propre appréciation à celle de l'administration; il doit s'appuyer sur des circonstances de nature à faire apparaître sa propre appréciation comme la mieux appropriée (ATF 126 V 75 consid. 6 p. 81).
Par le passé, la compétence de l'autorité cantonale de recours d'examiner en opportunité la décision attaquée découlait du principe de l'unité de la procédure, selon lequel les motifs de recours devant les juridictions cantonales statuant en dernière instance cantonale, dans les causes pouvant faire l'objet d'un recours de droit administratif au Tribunal fédéral des assurances devaient être admis au moins aussi largement que pour l'instance fédérale (cf. art. 98a al. 3 aOJ et ATF 123 V 300). Avec l'entrée en vigueur de l'art. 132 al. 2 aOJ (dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 sur la modification de la LAI, en vigueur du 1er juillet 2006 au 31 décembre 2006), puis, à partir du 1er janvier 2007 des art. 95 ss LTF, le Tribunal fédéral ne peut plus contrôler en matière d'octroi ou de refus de prestations d'assurance l'opportunité de la décision cantonale, de sorte que la référence au principe de l'unité de la procédure est désormais caduque.
L'examen de l'opportunité de la décision administrative par le juge cantonal découle toutefois du droit fédéral. En vertu des art. 37 LTAF et 49 PA, le Tribunal administratif fédéral dispose d'un pouvoir d'examen tant en ce qui concerne l'excès ou l'abus du pouvoir d'appréciation que l'opportunité de la décision attaquée, lorsqu'il se prononce comme autorité judiciaire de première instance dans le domaine des assurances sociales (pour l'assurance-invalidité, cf. art. 69 al. 1 let. b LAI). Il faut en déduire que les tribunaux cantonaux des assurances au sens de l'art. 57 LPGA, qui constituent l'autorité de recours ordinaire dans la très grande majorité des cas relevant des assurances sociales, doivent disposer d'un pouvoir d'examen identique à celui du Tribunal administratif fédéral, ce également au regard du principe constitutionnel de l'égalité de traitement de tous les assurés (art. 8 al. 1 Cst.; cf. à cet égard ATF 134 V 199 consid. 1.2 p. 200). Cela s'impose d'autant plus que le domaine des assurances sociales comprend de nombreuses situations - et le point litigieux ici en cause de l'étendue de l'abattement sur le revenu d'invalide en matière d'assurance-invalidité en est un exemple flagrant - dans lesquelles l'administration dispose d'une marge d'appréciation importante, dont l'application doit pouvoir être contrôlée par l'autorité de recours de première instance. Il n'existe par ailleurs aucun indice qui ressortirait des travaux préparatoires ou de la procédure législative ayant conduit à l'adoption successive de la LPGA, de la modification de la LAI du 16 décembre 2005 et de la LTF que le législateur fédéral aurait entendu restreindre le pouvoir d'examen des juridictions de recours de première instance quant à l'opportunité de la décision administrative.
Il découle de ce qui précède que la juridiction cantonale, lorsqu'elle examine l'usage qu'a fait l'administration de son pouvoir d'appréciation pour fixer l'étendue de l'abattement sur le revenu d'invalide, doit porter son attention sur les différentes solutions qui s'offraient à l'organe de l'exécution de l'assurance-invalidité et voir si un abattement plus ou moins élevé (mais limité à 25 % [ATF 126 V 75]) serait mieux approprié et s'imposerait pour un motif pertinent, sans toutefois substituer sa propre appréciation à celle de l'administration.
5.3 D'après le Tribunal cantonal des assurances sociales, l'abattement de 10 % admis par l'intimé était conforme au droit: hormis les limitations fonctionnelles relativement nombreuses du recourant, il n'y avait pas d'autre élément déterminant dans ce contexte qui aurait justifié une réduction supérieure au taux retenu par l'administration, de sorte que l'office AI n'avait pas abusé de son pouvoir d'appréciation.
Si on pourrait penser à la lecture de certaines expressions utilisées par la juridiction cantonale qu'elle a restreint son pouvoir d'examen de manière inadmissible, ses considérations relatives à l'étendue de l'abattement prises dans leur ensemble montrent qu'elle a également contrôlé l'opportunité de la décision de l'intimé. Au surplus, l'argumentation du recourant n'est pas propre à démontrer que la juridiction cantonale aurait commis un excès positif ou négatif de son pouvoir d'appréciation ou aurait abusé de celui-ci. Les éléments cités par le recourant ne sont en effet pas pertinents pour justifier un abattement, puisqu'il est encore relativement jeune, a apparemment disposé d'une autorisation de travail en Suisse, que les activités adaptées envisageables (qualification 4, simples et répétitives) ne requièrent pas une expérience professionnelle diversifiée et que la diminution de rendement a été dûment prise en compte pour déterminer sa capacité de travail résiduelle.
6. Compte tenu de ce qui précède, le recours est mal fondé.
7. Vu l'issue de la procédure, le recourant doit en supporter les frais (art. 66 al. 1 LTF) et ne peut prétendre de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 12 avril 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless