Faits:
Faits:
A. A._, né en 1950, a travaillé en qualité de maçon et de manoeuvre au service de différentes entreprises jusqu'au 30 septembre 1999. A partir du 1er octobre 1999, il a présenté une incapacité de travail oscillant entre 50 % et 100 % en raison de douleurs lombaires.
Le 31 octobre 2000, il a déposé une demande de prestations de l'assurance-invalidité (rente). Dans un rapport du 4 décembre 2000, son médecin traitant, le docteur T._ a diagnostiqué des « lombalgies chroniques persistantes sur troubles statiques et dégénérescence discale L4-L5, L5-S1, canal lombaire étroit en L4-L5, arthrose postérieure au même niveau, importante dysbalance musculaire, obésité, diabète de type II, maladie de reflux gastro-oesophagien ». Le docteur T._ s'est fondé sur les rapports du docteur P._, rhumatologue, (du 29 novembre 1999), ainsi que sur l'appréciation des docteurs F._ et B._, du service d'orthopédie et de traumatologie de l'appareil moteur du Centre hospitalier X._, du 14 mars 2000). Il a également estimé que son patient présentait une capacité de travail maximale de 50 % dans une activité adaptée (petits travaux d'entretien).
Les doctoresses M._ et V._, du service médical régional de l'AI (SMR) ont, quant à elles, fixé à 100 % la capacité de travail de A._ dans une activité adaptée et déterminé les limitations fonctionnelles comme suit : « Pas de port de charges supérieures à 10 kg, marche inférieure à 100 m, alternance position assise-debout, pas de latéroflexion ou d'antéflexion » (rapport du 23 juillet 2001).
Dans un projet de décision du 10 août 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a informé A._ qu'il envisageait de nier son droit à une rente au motif que son taux d'invalidité n'atteignait pas 40 %. L'assuré a contesté ce point de vue à l'appui d'une appréciation du docteur T._ du 24 août 2001, dont il ressort que sa capacité résiduelle de travail ne dépassait pas 30 %, ainsi que d'un rapport du 31 mai 2001 du docteur R._, du Centre anti-douleur de la Clinique Y._, annexé à l'avis du médecin traitant.
Le 5 novembre 2001, le SMR a pris position sur les avis des docteurs T._ et R._ et confirmé que l'assuré présentait une capacité de travail à 100 % dans une activité adaptée respectant les limitations fonctionnelles précitées.
Par décision du 14 novembre 2001, l'office AI a rejeté la demande de prestations, estimant que le taux d'invalidité n'atteignait pas 40 %.
Par décision du 14 novembre 2001, l'office AI a rejeté la demande de prestations, estimant que le taux d'invalidité n'atteignait pas 40 %.
B. A._ a recouru devant le Tribunal cantonal des assurances en concluant à l'octroi d'une rente entière d'invalidité. Par jugement du 21 mai 2003, la juridiction cantonale a rejeté le recours.
B. A._ a recouru devant le Tribunal cantonal des assurances en concluant à l'octroi d'une rente entière d'invalidité. Par jugement du 21 mai 2003, la juridiction cantonale a rejeté le recours.
C. A._ interjette recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il requiert le renvoi du dossier à la juridiction cantonale, principalement, pour qu'elle respecte son droit d'être entendu et subsidiairement, pour qu'elle procède à une expertise pluridisciplinaire.
L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. La loi fédérale sur la partie générale du droit des assurances sociales (LPGA), du 6 octobre 2000, a apporté diverses modifications dans le domaine de l'assurance-invalidité. Cette loi, entrée en vigueur le 1er janvier 2003, n'est toutefois pas applicable au présent litige qui reste soumis au droit en vigueur jusqu'au 31 décembre 2002 ( cf. <ref-ruling> consid. 1, 121 V 366 consid. 1b).
1. La loi fédérale sur la partie générale du droit des assurances sociales (LPGA), du 6 octobre 2000, a apporté diverses modifications dans le domaine de l'assurance-invalidité. Cette loi, entrée en vigueur le 1er janvier 2003, n'est toutefois pas applicable au présent litige qui reste soumis au droit en vigueur jusqu'au 31 décembre 2002 ( cf. <ref-ruling> consid. 1, 121 V 366 consid. 1b).
2. 2.1 Invoquant une violation de l'art. 29 al. 2 Cst., le recourant soutient que l'intimé a violé son droit d'être entendu au cours de la procédure cantonale en lui remettant pour consultation une copie des pièces principales du dossier dans lequel ne figuraient pas les deux rapports du SMR.
2.2 La jurisprudence, rendue sous l'empire de l'art. 4 a Cst. et qui s'applique également à l'art. 29 al. 2 Cst. (<ref-ruling> consid. 2b, 127 III 578 consid. 2c, 126 V 130 consid. 2a), a déduit du droit d'être entendu, en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2a/aa, 124 V 181 consid. 1a, 375 consid. 3b et les références).
2.3 Une condition nécessaire du droit de consulter le dossier est que l'autorité, lorsqu'elle verse au dossier de nouvelles pièces dont elle entend se prévaloir dans son jugement, soit tenue d'en aviser les parties. Encore qu'elle ne soit pas obligée de les renseigner sur chaque production de pièces, car il suffit qu'elle tienne le dossier à leur disposition (<ref-ruling> consid. 5b/bb et les références).
2.4 En l'espèce, pendant le délai de recours, le mandataire de l'assuré a sollicité de l'intimé une copie du dossier qui lui a été transmise le 6 décembre 2001. Les pièces envoyées ne contenaient pas les avis médicaux du SMR des 23 juillet et 5 novembre 2001. En revanche y figurait une copie de lettre de l'intimé du 12 novembre 2001 adressée au docteur T._, évoquant les limitations fonctionnelles fixées par le SMR et le fait que le cas du recourant avait à nouveau été soumis à l'appréciation de ce service.
2.5 La question se pose de savoir si un tel état de faits est constitutif d'une violation du droit d'être entendu ou si, au contraire, l'assuré avait, en vertu de son devoir de collaborer, l'obligation d'exiger les pièces dont il avait constaté l'omission. Cette question peut rester indécise, dès lors que le jugement doit être annulé pour d'autres motifs.
2.5 La question se pose de savoir si un tel état de faits est constitutif d'une violation du droit d'être entendu ou si, au contraire, l'assuré avait, en vertu de son devoir de collaborer, l'obligation d'exiger les pièces dont il avait constaté l'omission. Cette question peut rester indécise, dès lors que le jugement doit être annulé pour d'autres motifs.
3. 3.1 Le recourant demande le renvoi du dossier aux premiers juges pour qu'ils procèdent à une expertise pluridisciplinaire afin d'établir sa capacité résiduelle de travail.
3.2 La juridiction cantonale s'est fondée sur les deux avis des médecins du SMR pour admettre que les emplois légers mentionnés par l'intimé satisfont « aux contre-indications incontestées » découlant de l'état de santé de l'assuré. Elle précise qu'elle ne voit pas pour quels motifs celui-ci ne peut pas travailler à 100 % dans un emploi de type léger et sédentaire.
3.2 La juridiction cantonale s'est fondée sur les deux avis des médecins du SMR pour admettre que les emplois légers mentionnés par l'intimé satisfont « aux contre-indications incontestées » découlant de l'état de santé de l'assuré. Elle précise qu'elle ne voit pas pour quels motifs celui-ci ne peut pas travailler à 100 % dans un emploi de type léger et sédentaire.
4. Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
4. Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
5. 5.1 Dans un arrêt du 14 juin 1999 (<ref-ruling>), le Tribunal fédéral des assurances a précisé sa jurisprudence relative à l'appréciation des preuves notamment dans le domaine médical. Il convient de rappeler ici que selon le principe de la libre appréciation des preuves, qui s'applique aussi bien en procédure administrative qu'en procédure de recours de droit administratif (<ref-law> en corrélation avec l'<ref-law>; art. 95 al. 2 OJ en liaison avec les art. 113 et 132 OJ), l'administration ou le juge apprécie librement les preuves, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. Dès lors, le juge doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut trancher l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre.
L'élément déterminant pour la valeur probante d'un certificat médical n'est ni son origine ni sa désignation sous la forme d'un rapport ou d'une expertise, mais bel et bien son contenu. A cet égard, il importe que les points litigieux importants aient fait l'objet d'une étude fouillée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées, qu'il ait été établi en pleine connaissance du dossier (anamnèse), que la description des interférences médicales soit claire et enfin que les conclusions de l'expert soient bien motivées (<ref-ruling> consid. 3a).
En particulier, le juge accorde davantage de poids à un rapport d'expertise remplissant toutes les conditions requises par la jurisprudence qu'à l'opinion du médecin-traitant (<ref-ruling> consid. 3b/cc; RJJ 1995 p. 44; RCC 1988 p. 504 consid. 2).
5.2 En l'espèce, les premiers juges ont confirmé la décision de l'office intimé en se fondant essentiellement sur les rapports des 23 juillet et 5 novembre 2001 du SMR, selon lesquels l'assuré était apte à exercer à 100 % une activité légère tenant compte d'un certain nombre de limitations (petite mécanique à l'établi ou dans l'horlogerie).
Longs d'une page au total, ces deux avis ne comprennent ni anamnèse, ni observation clinique, ni description des plaintes du recourant. Les conclusions des médecins du SMR s'appuient entièrement sur d'autres appréciations médicales dont elles retiennent surtout les éléments qui minimisent les atteintes à la santé de l'assuré. Au surplus, la détermination de la capacité résiduelle de travail est théorique et ne tient pas compte du fait que le recourant a exercé depuis son enfance des activités physiquement lourdes. Dans ces circonstances, on ne saurait accorder valeur probante aux rapports des médecins du SMR.
Par ailleurs, aucun autre médecin ne s'est prononcé sur le taux de la capacité de travail du recourant, hormis le médecin traitant. Or, l'avis de ce dernier n'emporte pas non plus la conviction. En effet, ce praticien a fixé la capacité résiduelle de travail du recourant dans une activité adaptée à 50 %, le 4 décembre 2000, pour la réduire, sans explication, à 30 % neuf mois plus tard (lettre du 24 août 2001). De surcroît, il a estimé, de manière irréaliste, que son patient était apte à exercer des petits travaux d'entretien, alors que les positions de latéroflexion et d'antéflexion sont proscrites, selon les constatations des médecins du SMR.
Sur le vu de ce qui précède, les premiers juges n'étaient pas fondés à statuer, comme ils l'ont fait, sur la base des seuls avis médicaux au dossier. Il y a donc lieu de renvoyer la cause à l'intimé afin qu'il procède à une expertise dans le but de déterminer avec précision la capacité de travail résiduelle du recourant, compte tenu de toutes les affections dont il souffre ainsi que des facultés physiques et mentales dont il dispose. A l'issue de la procédure d'instruction complémentaire, il appartiendra à l'intimé de rendre une nouvelle décision sur le droit à la rente du recourant.
Dans cette mesure, le recours se révèle bien fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 21 mai 2003, ainsi que la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 14 novembre 2001 sont annulés, la cause étant renvoyée audit office pour instruction complémentaire et nouvelle décision au sens des considérants.
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 21 mai 2003, ainsi que la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 14 novembre 2001 sont annulés, la cause étant renvoyée audit office pour instruction complémentaire et nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'intimé versera au recourant la somme de 2'000 fr. ( y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
3. L'intimé versera au recourant la somme de 2'000 fr. ( y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
4. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
4. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 15 janvier 2004
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: La Greffière: