Faits:
A. Le 2 juin 2003, L._ a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI) a chargé la doctoresse G._ d'une expertise. A titre de diagnostics avec incidence sur la capacité de travail, celle-ci a retenu une gonarthrose gauche avancée post-traumatique, des lombosciatalgies gauches résiduelles après hernie discale L4-L5 gauche foraminale et des cervicalgies avec discret syndrome cervical sur cervicarthrose étagée; elle a par ailleurs conclu que l'assuré était incapable de reprendre son ancienne activité de maçon depuis décembre 2002, mais qu'une activité légère semi-sédentaire était exigible à un taux de 80 % sur le plan somatique (rapport du 21 avril 2005). Le 16 novembre 2006, L._ a subi une intervention chirurgicale (ostéotomie correctrice du tibia proximal gauche). Dans un rapport du 10 juillet 2007, le docteur A._, médecin adjoint à l'Hôpital X._, chargé de l'opération, a retenu un état de santé stationnaire et diagnostiqué des séquelles de fracture du tibia proximal gauche, une gonarthrose interne gauche, un status après ostéotomie de flexion valgisation gauche et une obésité; à son avis, une réorientation professionnelle dans une activité adaptée était imaginable, mais il lui semblait douteux que la capacité de travail de l'intéressé dépassât les 50 %. Chargé par l'office AI de se prononcer sur le dossier, le docteur I._ du Service médical régional AI (ci-après: SMR) a indiqué que l'intervention d'ostéotomie du tibia ne s'était pas compliquée, si bien qu'elle ne pouvait être source d'un empêchement durable dans une activité adaptée (avis du 12 septembre 2007). Par décision du 12 septembre 2007, l'office AI a nié le droit de l'assuré à une rente d'invalidité.
B. Par jugement du 16 juin 2009, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud a rejeté le recours formé par l'intéressé contre cette décision.
C. L._ interjette un recours en matière de droit public contre ce jugement. Il conclut principalement à sa réforme, en ce sens que lui soient allouées une rente d'invalidité, dont le taux devra être déterminé en fonction d'une expertise médicale dont il demande la mise en oeuvre à titre préliminaire, ainsi que des mesures de réadaptation professionnelle. Subsidiairement, il requiert le renvoi de la cause à l'office AI, pour complément d'instruction sous la forme d'une expertise somatique.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. En tant que les conclusions principales du recourant portent sur l'octroi de mesures de réadaptation professionnelle, elles sont irrecevables, dès lors qu'elles sortent de l'objet du litige défini par la décision administrative (sur la notion d'objet de la contestation, voir ATF 125 V 413; cf. également Meyer/von Zwehl, L'objet du litige en procédure de droit administratif fédéral, in Mélanges Pierre Moor, 2005, p. 437 ss). La décision du 12 septembre 2007 ne portait que sur le droit à une rente d'invalidité et les conclusions du recourant en instance cantonale n'ont concerné que ce seul point, puisqu'il a requis l'octroi d'une rente "complète" d'invalidité à partir du 2 décembre 2003. Le litige a donc pour seul objet le droit éventuel du recourant à une rente d'invalidité.
3. 3.1 Se fondant principalement sur le rapport de la doctoresse G._ du 21 avril 2005, l'autorité cantonale de recours a constaté que bien que le recourant fût totalement et définitivement incapable de travailler comme maçon, sa capacité de travail restait entière dans une activité légère de substitution, avec une diminution de rendement de 20 %. Elle a en outre retenu que l'intervention d'ostéotomie du tibia subie par le recourant ne s'était pas compliquée, et ne pouvait donc être source d'un empêchement durable dans une activité adaptée. La juridiction cantonale a également considéré que le certificat du docteur A._ du 17 janvier 2008, produit en instance cantonale et selon lequel la capacité de travail du recourant était nulle dans le contexte actuel, n'était pas vraiment étayé. Ce médecin retenait des diagnostics dont il avait déjà fait état (hormis l'hémochromatose), et les éléments qu'il avançait pour justifier une incapacité de travail (à savoir la longue période d'inactivité, le manque de qualifications et le défaut de connaissances linguistiques du recourant) ne constituaient pas des facteurs dont il fallait tenir compte pour fixer le taux d'invalidité.
3.2 Le recourant reproche aux premiers juges d'avoir retenu que l'intervention chirurgicale du 16 novembre 2006 n'avait pas affecté sa capacité de travail et de n'avoir pas tenu compte des conclusions du docteur A._ (rapport du 10 juillet 2007) à cet égard. Par ailleurs, il leur fait grief d'avoir fondé leur appréciation sur le rapport de la doctoresse G._ du 21 avril 2005, alors qu'il est antérieur à l'opération. Selon le recourant, sa capacité de travail s'est réduite des suites de cette intervention et la juridiction cantonale aurait dès lors dû procéder à une instruction complémentaire pour s'en assurer.
3.3 En l'espèce, la juridiction cantonale a fait une appréciation des rapports médicaux au dossier qui n'apparaît pas soutenable. Si elle a fondé sa constatation relative à la capacité de travail dans une activité légère de substitution sur le rapport de la doctoresse G._ du 21 avril 2005, elle a considéré de façon manifestement inexacte que l'évolution subséquente de l'état de santé du recourant ne remettait pas en cause les conclusions de ce médecin. A cet égard, reprenant l'appréciation de l'intimé, elle a constaté que l'intervention d'ostéotomie du tibia ne s'était pas compliquée et n'avait dès lors pu entraîner un empêchement durable. Une telle constatation - qui apparaît tirée de l'avis peu motivé du docteur I._ du SMR du 12 septembre 2007 - est cependant contredite par les appréciations du docteur A._ des 10 juillet 2007 et 17 janvier 2008.
Près de huit mois après l'intervention chirurgicale, ce médecin a indiqué que l'évolution postopératoire était "extrêmement lente" et que son patient avait beaucoup de difficultés à se mettre en charge totale sans se protéger de cannes; les progrès étaient en outre extrêmement lents et le praticien doutait que la capacité de travail dans une activité adaptée dépassât 50 % (rapport du 10 juillet 2007). Par la suite, le docteur A._ est revenu sur cette conclusion en expliquant que la "capacité théorique dans le contexte actuel, dégénératif ainsi que médical du fait de l'hémochromatose et des cervico-lombalgies est nulle" (rapport du 17 janvier 2008). S'il est vrai, comme l'ont retenu les premiers juges, que cette appréciation mentionnait également des facteurs limitatifs étrangers à une atteinte à la santé - longue période d'inactivité, formation professionnelle dans une activité lourde et difficultés linguistiques -, le docteur A._ a cependant fait état d'une évolution défavorable sur le plan purement médical (douleurs internes liées à une gonarthrose secondaire qui se décompensait). On ne pouvait dès lors considérer sans arbitraire que l'appréciation du docteur A._ - dont il y a lieu de tenir compte (ATF 99 V 98 consid. 4 p. 102) - constituait "plutôt une réévaluation" et ne mettait pas en évidence une aggravation de l'état de santé du recourant par rapport aux constatations de la doctoresse G._.
Dans ces circonstances, c'est sur la base d'un état de faits manifestement inexact quant à l'absence de toute évolution de la situation depuis le rapport médical du 21 avril 2005 que la juridiction cantonale a retenu une capacité de travail exigible de 100 % dans une activité adaptée, avec une diminution de rendement de 20 %. Au regard des rapports du docteur A._, qui ne pouvaient être suivis sans une appréciation plus circonstanciée de l'état de santé du recourant, un complément d'instruction sur le plan médical aurait dû être ordonné. Aussi convient-il de renvoyer la cause à l'intimé pour qu'il complète l'instruction par la mise en oeuvre d'une expertise médicale, avant de se prononcer à nouveau. Il lui appartiendra également dans ce contexte de déterminer le type d'activités encore exigibles, le cas échéant, du recourant.
4. En conséquence de ce qui précède, le recours se révèle bien fondé.
5. Vu l'issue du litige, les frais de justice seront supportés par l'intimé qui succombe (art. 66 al. 1 LTF). Celui-ci est par ailleurs tenu de verser au recourant une indemnité de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable. Le jugement du Tribunal cantonal, Cour des assurances sociales, du canton de Vaud du 16 juin 2009 et la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 12 septembre 2007 sont annulés. La cause est renvoyée à cet office pour qu'il complète l'instruction au sens des considérants, puis rende une nouvelle décision.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal cantonal vaudois, Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral des assurances sociales.
Lucerne, le 22 mars 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless