Faits:
A. Le 29 novembre 2006, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité, après que ses trois requêtes précédentes ont été rejetées. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des avis médicaux, dont ceux du docteur N._, spécialiste FMH en neurochirurgie, qui a opéré le prénommé le 12 février 2007 (hémilaminectomie pour cure de hernie discale). Ce médecin a fait état d'un status après cure de hernie discale paramédiane gauche L5-S1 avec importante sténose ostéoligamentaire (12 février 2007) et d'un syndrome lombovertébral statique et fonctionnel; il a attesté une incapacité de travail totale dans l'activité d'ouvrier en construction et bâtiment (exercée avant la survenance de l'atteinte à la santé), mais une capacité de travail résiduelle de 50 % dans un emploi adapté léger dans les six mois post-opératoires, à savoir dès la mi-août 2007 (rapport du 22 mai 2007). Sur requête de l'office AI, le docteur H._ du Service médical régional (SMR), s'est prononcé sur le dossier de l'intéressé et a conclu à une incapacité de travail totale du 12 février au 12 août 2007, de 50 % "du 13.08.2007 au 13.11.2008", puis à une pleine capacité de travail dans une activité adaptée (rapport du 14 août 2008). Fort de ces conclusions, l'office AI a, le 24 septembre 2008, informé A._ qu'il entendait rejeter sa demande de prestations, motif pris d'un degré d'invalidité insuffisant (12 %) pour ouvrir le droit à celles-ci.
Le prénommé ayant contesté le projet de décision avec un rapport du docteur J._, généraliste et médecin traitant, selon lequel il souffrait d'un trouble somatoforme douloureux extrêmement chronifié, l'office AI l'a soumis à un examen auprès de la doctoresse E._, spécialiste FMH en psychiatrie, du SMR. Dans un rapport du 11 mai 2009, le médecin a conclu à l'absence de diagnostic psychiatrique ayant une répercussion sur la capacité de travail. Par décision du 31 août 2009, l'office AI a rejeté la demande de A._.
B. L'assuré a déféré cette décision au Tribunal cantonal, Cour des assurances sociales, du canton de Vaud, en produisant un rapport de la doctoresse B._, spécialiste FMH en médecine interne et nouveau médecin traitant (du 7 janvier 2010). Par jugement du 17 mai 2011, le Tribunal cantonal a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, ainsi que celle de la décision administrative du 31 août 2009. Sous suite de frais et dépens, il conclut à l'octroi d'au moins une demi-rente d'invalidité et au renvoi de la cause à l'office AI pour instruction complémentaire sous la forme d'une expertise médicale pluridisciplinaire et nouvelle décision.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte, au regard des conclusions du recourant, sur son droit à une demi-rente d'invalidité, voire à une rente d'une fraction supérieure. Il suffit d'y renvoyer.
3. 3.1 Invoquant une appréciation arbitraire des faits et une violation de la maxime inquisitoire, le recourant reproche aux premiers juges de s'être ralliés à l'avis du docteur H._ pour constater qu'il avait récupéré une capacité de travail entière dans une activité adaptée à partir du 13 novembre 2007. L'appréciation du médecin du SMR, qui n'avait pas examiné le recourant et n'était donc pas habilité à juger de l'évolution post-opératoire, ne reposait en effet sur aucune pièce au dossier. Le docteur N._, à l'avis duquel l'autorité cantonale de recours s'était référée pour justifier sa position, avait indiqué que le recourant devait être apte à retravailler dans un emploi léger à 50 % dès la mi-août 2007, de sorte que l'appréciation des premiers juges quant à une capacité de travail entière dès cette date était arbitraire. Selon le recourant, l'instruction de son dossier devait être complétée par une expertise médicale pluridisciplinaire (neurologique, rhumatologique et psychiatrique), seule une incapacité de travail d'au moins 50 % pouvant pour l'heure être constatée.
3.2 Sur le plan somatique, se fondant sur l'avis du docteur H._ (du 14 août 2008), la juridiction cantonale a constaté que le recourant était en mesure de reprendre de manière progressive une activité adaptée aux limitations fonctionnelles mises en évidence par les médecins, d'abord à 50 % à compter du 13 août 2007, puis à plein temps dès la mi-novembre 2007. Elle a considéré pouvoir suivre les conclusions du médecin du SMR, puisqu'elles reprenaient l'avis précédemment exprimé par le docteur N._, selon lequel le patient était parfaitement apte sur le plan médico-théorique à retravailler à 50 % dans une activité adaptée six mois après l'opération, ce médecin n'excluant ainsi pas une reprise plus importante après cette période.
3.3 En l'espèce, la constatation de la juridiction cantonale relative à une capacité de travail entière du recourant dans une activité adaptée à partir de mi-novembre 2007 - la date indiquée par le docteur H._ (13.11.2008), due à une erreur de plume, ayant été corrigée à raison dans le jugement entrepris - est manifestement inexacte et relève d'une appréciation arbitraire des preuves. En effet, dès lors que le docteur N._ avait conclu uniquement à une capacité de travail de 50 % dans un emploi adapté dès la mi-août 2007, on ne voit pas comment les premiers juges pouvaient déduire une capacité de travail de 100 % dès la mi-novembre 2007. On ne saurait les suivre, sans faire preuve d'arbitraire, lorsqu'ils soutiennent que le docteur N._ "n'exclut ainsi pas une reprise plus importante passés ces six mois", puisque le neurochirurgien ne s'est nullement exprimé dans ce sens et n'a pas fait état d'une capacité de travail résiduelle supérieure à 50 %.
Leur constatation ne peut pas non plus se fonder sur l'avis du docteur H._. Invité à se prononcer sur le dossier, le médecin du SMR a indiqué une capacité de travail exigible de 100 % dans une activité adaptée (dès le 14 novembre 2007) en renvoyant aux avis des docteurs N._ et J._ (des 22 respectivement 21 mai 2007; cf. note de bas de page d du rapport du SMR du 14 août 2008), alors que ces médecins avaient précisément attesté d'une capacité de travail résiduelle de 50 % seulement. Cette incohérence a du reste été mise en évidence par un collaborateur de l'office AI qui a relevé à juste titre dans un avis du 26 mars 2009 que le médecin traitant et le spécialiste en neurochirurgie n'attestent qu'une capacité de travail de 50 % dans une activité adaptée, de sorte que "le SMR peut donc difficilement retenir une capacité de travail totale sans avoir examiné l'assuré". L'avis du docteur H._ ne peut donc être suivi, puisque le médecin n'a ni examiné l'assuré, ni motivé son appréciation divergente.
3.4 En conséquence de ce qui précède, il convient de rectifier d'office la constatation de l'autorité précédente sur la capacité résiduelle de travail du recourant (art. 105 al. 2 LTF) et de retenir un degré de 50 % à partir de mi-août 2007, conformément à l'appréciation du docteur N._. Toute évolution ultérieure de cette capacité résiduelle de travail relèverait d'une éventuelle procédure de révision.
En revanche, il n'y a pas lieu de donner suite à la conclusion du recourant tendant à ce que soit ordonnée une expertise médicale pluridisciplinaire (sur l'appréciation anticipée des preuves, cf. ATF 131 I 153 consid. 3 p. 157). Le recourant, qui ne conteste pas les constatations cantonales sur l'existence d'une aggravation de l'état de santé en 2006 (modification notable au sens de l'art. 17 LPGA) et l'absence d'atteinte à la santé psychiatrique ayant des répercussions sur sa capacité de travail, se limite en effet à soutenir que son dossier n'aurait pas été "réactualisé à satisfaction". Il ne fait valoir aucun argument qui justifierait de s'écarter de l'appréciation des docteurs N._ (sur le plan somatique) et E._ (sur le plan psychiatrique) et remettrait en cause le fait qu'il présente une capacité de travail de 50 % dans une activité adaptée dès la mi-août 2007.
On précisera à cet égard que les avis des médecins traitants successifs du recourant ne sont pas susceptibles de mettre en doute l'appréciation des médecins prénommés. Postérieurement à son avis du 21 mai 2007, le docteur J._ a certes indiqué que les possibilités de son patient de se réorienter dans une nouvelle activité étaient très limitées, en évoquant un trouble somatoforme douloureux extrêmement chronifié (rapport du 3 octobre 2008). L'existence d'une telle atteinte et ses répercussions sur la capacité de travail de l'assuré ont cependant fait l'objet de l'examen psychiatrique mené ultérieurement par la doctoresse E._, qui a mis en évidence l'absence de pathologie psychiatrique ayant des effets négatifs sur la capacité de travail. De son côté, la doctoresse B._ n'a fait état d'aucun élément nouveau - des examens médicaux complémentaires n'ayant montré aucune lésion susceptible d'expliquer les symptômes décrits par le patient - et justifie l'incapacité totale de travail de son patient (depuis le 2 octobre 2009) uniquement par le fait qu'il n'a jamais été capable de reprendre une activité professionnelle même à temps partiel (rapport du 7 janvier 2010).
4. 4.1 En ce qui concerne les effets sur le plan économique de la limitation de la capacité de travail du recourant, telle que constatée ci-avant, la comparaison des revenus déterminants doit être effectuée en tenant compte des circonstances qui prévalaient au moment de la naissance éventuelle du droit à une rente (ATF 129 V 222 consid. 4.3.1 p. 224 et la référence). Au regard de la constatation de la juridiction cantonale selon laquelle l'état de santé du recourant avait subi une aggravation en 2006, qui doit être fixée précisément à mi-novembre 2006 au vu des avis du docteur N._ des 17 novembre et 22 décembre 2006 (cf. art. 105 al. 2 LTF), et du fait que l'assuré se trouvait à ce moment-là en arrêt complet de travail attesté par son médecin traitant (rapport du docteur J._ du 12 février 2007), la date de référence est le 1er novembre 2007 (art. 29 al. 1 let. b et 2 aLAI, dans sa version en vigueur jusqu'au 31 décembre 2007, en relation avec les art. 87 ss RAI).
En prenant en considération les salaires avant et après invalidité déterminés par la juridiction cantonale - que le recourant ne conteste pas, sous réserve de l'abattement sur le salaire d'invalide (consid. 4.2 infra) -, en fonction de l'année de référence 2007 et non pas 2008, on constate que le taux d'invalidité résultant de la comparaison des revenus est de 57 %. Ce taux correspond à une demi-rente d'invalidité.
4.2 Les critiques du recourant relatives à l'abattement effectué par l'intimé (de 10 %) sur le revenu d'invalide ne démontrent pas en quoi l'administration et la juridiction cantonale auraient commis un excès positif ou négatif de leur pouvoir d'appréciation ou auraient abusé de celui-ci (voir ATF 132 V 393 consid. 3.3 p. 399 et 126 V 75). On ne voit notamment pas, à la lumière de l'argumentation du recourant, que l'une ou l'autre circonstance pertinente aurait été mésestimée ou, à tout le moins, appréciée de manière manifestement insoutenable, la "longue désinsertion du marché du travail" qu'il mentionne ne constituant au demeurant pas un facteur déterminant. Il n'y a dès lors pas lieu d'appliquer un abattement différent au revenu d'invalide.
5. Il résulte de ce qui précède que le recourant a droit à une demi-rente d'invalidité à partir du 1er novembre 2007. Le recours est donc bien fondé.
6. Vu l'issue du litige, l'intimé supportera les frais judiciaires, de même que l'indemnité à titre de dépens à laquelle a droit le recourant (art. 66 al. 1 et 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 17 mai 2011 et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 31 août 2009 sont annulés. Le recourant a droit à une demi-rente de l'assurance-invalidité à partir du 1er novembre 2007.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 19 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless