Faits:
Faits:
A. Ressortissant portugais né en 1955, L._ s'est annoncé à l'assurance-invalidité, le 22 janvier 1996, invoquant souffrir d'une hernie discale qui l'empêchait d'exercer son activité de maçon-paysagiste depuis le 23 août précédent. Le docteur R._, rhumatologue, a posé le diagnostic de lombosciatalgie bilatérale chronique sub-aiguë depuis le mois de juin 1995 et de petite hernie discale paramédiane L5-S1. Ces atteintes avaient entraîné plusieurs périodes d'incapacité de travail et un reclassement dans une profession n'impliquant pas le port de lourdes charges devait, selon le médecin, être entrepris rapidement (rapport du 11 avril 1996).
Après un premier stage en cuisine, l'assuré a effectué un stage au Centre d'observation professionnelle de l'assurance-invalidité (COPAI), à Genève, du 25 août au 19 septembre 1997. Selon le rapport du COPAI (du 2 novembre 1997), l'assuré était en mesure d'occuper un emploi à mi-temps dans des postes tels que magasinier avec petites livraisons ou réparation et contrôle d'appareils électromécaniques de moyenne dimension; après un réentraînement à l'effort de 6 mois, il pourrait travailler à plein temps avec un rendement de 80 %, ce dont doutait toutefois le docteur E._, médecin du COPAI. Au cours d'un stage subséquent d'essai en entreprise auprès de la société X._ SA, l'assuré a accompli son travail avec un rendement global inférieur à 50 %.
Sur le plan médical, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a recueilli divers avis avant de soumettre L._ à une expertise confiée aux docteurs S._, psychiatre et psychologie FHM, et A._, rhumatologue. Le premier médecin a indiqué que l'assuré présentait un trouble douloureux associé à la fois à des facteurs psychologiques et une affection médicale chronique d'intensité légère; du point de vue psychiatrique, il était apte à travailler à 100 % dans une activité adaptée à ses problèmes lombaires et ceci depuis toujours (rapport du 10 avril 2001). De son côté, le second praticien a notamment diagnostiqué des lombosciatalgies bilatérales à prédominance gauche, des troubles dégénératifs discrets du rachis lombaire avec hernie discale paramédiane gauche L4-L5, ainsi que des troubles douloureux chroniques associés à des facteurs psychologiques et à une affection médicale générale chronique. Il était d'avis que l'assuré n'était plus en mesure d'exercer sa profession de maçon, mais disposait d'une capacité de travail de 50 % dès le 1er février 1996 dans une activité adaptée, soit permettant des changements de position et sans port de charges de plus de 15 kg, mouvements de flexion et/ou rotation du tronc, ni travail en station basse prolongée ou au-dessus de la ceinture de façon prolongée (rapport du 12 avril 2001). A la demande du Service médical régional de l'assurance-invalidité (SMR), le docteur A._ a précisé la nature des atteintes empêchant l'assuré de mettre en valeur une capacité de travail entière dans une activité adaptée (courrier du 25 mai 2001).
Relevant une discordance entre l'expertise du docteur A._ et celle du docteur S._, les docteurs F._ et V._ du SMR ont conclu que l'assuré était capable de travailler à 100 % dans une activité adaptée, en prenant en compte quelques mois de réentraînement au travail (rapport du 4 septembre 2001). Par décision du 6 août 2002, l'office AI a rejeté la demande de prestations. Il a considéré que l'assuré disposait d'une capacité de travail entière dans une activité adaptée qui lui permettait de réaliser un revenu de 45'100 fr.; la perte économique (de 24,20 %) qui en résultait n'était pas susceptible d'ouvrir le droit à une rente.
Relevant une discordance entre l'expertise du docteur A._ et celle du docteur S._, les docteurs F._ et V._ du SMR ont conclu que l'assuré était capable de travailler à 100 % dans une activité adaptée, en prenant en compte quelques mois de réentraînement au travail (rapport du 4 septembre 2001). Par décision du 6 août 2002, l'office AI a rejeté la demande de prestations. Il a considéré que l'assuré disposait d'une capacité de travail entière dans une activité adaptée qui lui permettait de réaliser un revenu de 45'100 fr.; la perte économique (de 24,20 %) qui en résultait n'était pas susceptible d'ouvrir le droit à une rente.
B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 décembre 2003.
B. Saisi d'un recours de l'assuré contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 22 décembre 2003.
C. L._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à l'administration pour qu'elle ordonne une expertise médicale.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le jugement entrepris expose correctement les règles légales et la jurisprudence relatives à la notion d'invalidité, à son évaluation pour les assurés actifs, au degré d'invalidité ouvrant le droit à une rente, ainsi qu'à la valeur probante des rapports médicaux et aux motifs permettant au juge de s'écarter des conclusions d'une expertise médicale. Il précise également à juste titre que le présent litige reste soumis aux dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, soit sans les modifications entraînées par l'entrée en vigueur, au 1er janvier 2003, de la LPGA (cf. <ref-ruling> consid. 1.2). On peut donc y renvoyer sur ces points, en ajoutant que, pour les mêmes raisons, les modifications de la LAI du 21 mars 2003 (4ème révision de la LAI), entrées en vigueur au 1er janvier 2004, ne sont pas non plus applicables au cas d'espèce.
1. Le jugement entrepris expose correctement les règles légales et la jurisprudence relatives à la notion d'invalidité, à son évaluation pour les assurés actifs, au degré d'invalidité ouvrant le droit à une rente, ainsi qu'à la valeur probante des rapports médicaux et aux motifs permettant au juge de s'écarter des conclusions d'une expertise médicale. Il précise également à juste titre que le présent litige reste soumis aux dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, soit sans les modifications entraînées par l'entrée en vigueur, au 1er janvier 2003, de la LPGA (cf. <ref-ruling> consid. 1.2). On peut donc y renvoyer sur ces points, en ajoutant que, pour les mêmes raisons, les modifications de la LAI du 21 mars 2003 (4ème révision de la LAI), entrées en vigueur au 1er janvier 2004, ne sont pas non plus applicables au cas d'espèce.
2. La juridiction cantonale de recours a considéré que l'expertise du docteur A._ n'était pas suffisamment convaincante pour admettre que la capacité de travail de l'assuré était limitée à 50 % dans une activité adaptée en raison d'une atteinte à la santé ayant valeur de maladie. L'expert utilisait en effet à plusieurs reprises le conditionnel pour motiver les effets des troubles constatés sur la capacité de travail. Selon les premiers juges, les atteintes objectives présentées par le recourant étaient discrètes et compatibles avec l'exercice en plein d'une activité adaptée. L'assuré se déplaçait du reste sans difficultés, comme il ressortait de ses déclarations selon lesquelles il se promenait en tout cas une heure et demie par jour et comme l'avait constaté le docteur S._ au cours de son examen. Aussi, le recourant n'était-il pas, de l'avis de l'autorité cantonale de recours, entravé dans ses mouvements. Les premiers juges se sont dès lors écartés des conclusions du docteur A._ et ont tenu pour déterminantes celles des médecins du SMR pour considérer que la capacité de travail du recourant était entière dans une activité adaptée, «après un réentraînement au travail durant quelques mois, le cas échéant».
De son côté, le recourant reproche aux premiers juges de s'être écartés des conclusions de l'expertise du rhumatologue alors qu'il n'existait aucun motif impératif pour ce faire. Le docteur A._ avait en effet mis en évidence des «dysfonctionnements physiques» qui expliquaient les limitations de la capacité résiduelle de travail. Au vu des avis opposés de l'expert et des médecins du SMR, il s'avérait de toute façon nécessaire, selon le recourant, d'ordonner une contre-expertise.
De son côté, le recourant reproche aux premiers juges de s'être écartés des conclusions de l'expertise du rhumatologue alors qu'il n'existait aucun motif impératif pour ce faire. Le docteur A._ avait en effet mis en évidence des «dysfonctionnements physiques» qui expliquaient les limitations de la capacité résiduelle de travail. Au vu des avis opposés de l'expert et des médecins du SMR, il s'avérait de toute façon nécessaire, selon le recourant, d'ordonner une contre-expertise.
3. 3.1 Sur la base de l'examen de l'assuré et l'étude du dossier médical (en particulier radiologique), le docteur A._ est arrivé à la conclusion que le recourant présentait une capacité de travail de 50 % dans une activité adaptée dont il a précisé les caractéristiques à la fin de son expertise. Pour expliquer le résultat de son appréciation, le médecin a indiqué à ses confrères du SMR que l'assuré présentait des lombosciatalgies chroniques bilatérales à prédominance gauche, des troubles dégénératifs du rachis lombaire et une hernie discale paramédiane gauche L4-L5, susceptible de créer un conflit disco-radiculaire L5 gauche irritatif non déficitaire; s'y associait un syndrome de déconditionnement musculaire persistant (courrier du 25 mai 2001). Ces explications ne suffisent toutefois pas, comme l'ont relevé les premiers juges, pour comprendre l'estimation de l'expert quant à la capacité de travail résiduelle du recourant. Dans son rapport du 12 avril précédent, le docteur A._ fait en effet état, sur le plan objectif, de discrets troubles dégénératifs, de la colonne lombaire et sous forme d'une petite discopathie C6-C7 sans répercussion sur les structures neurologiques. Il ne retient en revanche que l'existence «possible» d'un conflit disco-radiculaire avec la racine L5 gauche qui serait «susceptible d'expliquer une partie des symptômes du patient». Il arrive ensuite à la conclusion qu'il y a donc une discordance entre l'extension des douleurs, la résistance aux traitements et les constatations objectives (partie «discussion» du rapport). Or, loin de justifier pourquoi, malgré une telle discordance, il retient une capacité de travail limitée à 50 % dans une activité adaptée, le rhumatologue se borne à affirmer celle-ci sans autre motivation. Les précisions apportées le 25 mai 2001 ne permettent pas non plus d'étayer suffisamment l'appréciation du médecin sur ce point. A défaut de motivation convaincante, les conclusions du docteur A._ ne sauraient dès lors être suivies, de sorte que les premiers juges étaient en droit de s'en écarter.
3.2 Cela étant, la juridiction cantonale a confirmé la décision de l'office intimé en se fondant, d'abord, sur ses propres déductions. D'une part, elle a retenu que l'assuré ne présentait que des atteintes objectives «discrètes et compatibles avec l'exercice en plein d'une activité lucrative». D'autre part, elle a inféré des déclarations de l'assuré faites au docteur S._ sur le déroulement de sa journée, qu'il n'était pas entravé dans ses mouvements. Ce faisant, l'autorité cantonale de recours a toutefois ignoré que le juge doit se fonder sur des données médicales pour déterminer quel est l'état de santé de l'assuré et les répercussions d'une éventuelle atteinte sur la capacité de travail, et ne saurait de son propre chef poser des conclusions qui relèvent de la science et des tâches du médecin. L'argumentation des premiers juges apparaît donc infondée.
En ce qui concerne la capacité de travail du recourant, la juridiction cantonale s'est certes ralliée à l'avis des médecins du SMR, selon lesquels l'assuré était apte à exercer à 100 % une activité légère tenant compte d'un certain nombre de limitations (rapport du 4 septembre 2001). Long d'une page au total, cet avis ne comprend toutefois ni anamnèse, ni observation clinique, ni description des plaintes du recourant. Les docteurs F._ et V._ se limitent par ailleurs à écarter l'avis du docteur A._ et à déduire de la discordance entre les plaintes du patient et les observations objectives que celui-ci est capable de travailler à 100 % dans une activité adaptée. Cette motivation n'est pas non plus suffisante, ce d'autant plus que les médecins du SMR ne mentionnent pas les éléments leur permettant de conclure que l'assuré arriverait à assumer un plein rendement pour un tel horaire, alors que le pronostic émis par le COPAI n'était pas aussi positif (activité à plein temps avec un rendement de 80 % après un réentraînement à l'effort). Dans ces conditions, on ne saurait accorder valeur probante au rapport des médecins du SMR.
Par ailleurs, le dossier ne contient pas d'autre avis médical suffisamment étayé et convaincant pour apprécier dans quelle mesure et à partir de quelle date la reprise d'une activité professionnelle est exigible de la part du recourant, au vu des atteintes à la santé qu'il présente. Aussi, la cause doit-elle être renvoyée à l'administration afin qu'elle ordonne une nouvelle expertise dans le but, en particulier, de déterminer l'étendue de la capacité de travail de l'assuré dans une activité adaptée, avant de statuer à nouveau.
Par ailleurs, le dossier ne contient pas d'autre avis médical suffisamment étayé et convaincant pour apprécier dans quelle mesure et à partir de quelle date la reprise d'une activité professionnelle est exigible de la part du recourant, au vu des atteintes à la santé qu'il présente. Aussi, la cause doit-elle être renvoyée à l'administration afin qu'elle ordonne une nouvelle expertise dans le but, en particulier, de déterminer l'étendue de la capacité de travail de l'assuré dans une activité adaptée, avant de statuer à nouveau.
4. En conséquence de ce qui précède, le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis et le jugement du Tribunal des assurances du canton de Vaud du 22 décembre 2003 est annulé, la cause étant renvoyée pour instruction complémentaire au sens des considérants et nouvelle décision à l'Office de l'assurance-invalidité pour le canton de Vaud.
1. Le recours est admis et le jugement du Tribunal des assurances du canton de Vaud du 22 décembre 2003 est annulé, la cause étant renvoyée pour instruction complémentaire au sens des considérants et nouvelle décision à l'Office de l'assurance-invalidité pour le canton de Vaud.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'office intimé versera à L._ la somme de 2'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'ensemble de la procédure.
3. L'office intimé versera à L._ la somme de 2'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'ensemble de la procédure.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juillet 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: