Faits:
Faits:
A. L._, né en 1965, a travaillé depuis 1985 en qualité de maçon et, accessoirement, depuis 1989 en qualité de nettoyeur. Des problèmes dorsaux l'ont contraint à arrêter de travailler du 10 au 27 mars et du 1er mai au 23 juillet 2000. Il a cessé définitivement toute activité le 13 septembre 2000.
Par demande du 18 octobre 2000, il a requis des prestations de l'assurance-invalidité auprès de l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'office AI). Il demandait à bénéficier d'une orientation professionnelle, d'un reclassement dans une nouvelle profession et, subsidiairement, de l'octroi d'une rente.
Dans un rapport du 1er novembre 2000 à l'intention de l'office AI, le docteur B._, médecin traitant de l'assuré, a posé les diagnostics de lombalgies chroniques en rapport avec une discopathie étagée et de sténose aortique; il a suggéré un reclassement professionnel dans la mesure où son patient n'était plus capable d'exercer le métier de maçon. L'assuré a également produit un rapport médical du 22 mai 2001 du docteur G._, spécialiste en neurologie.
L._ a été mis au bénéfice d'un stage de réadaptation professionnelle OSER auprès du Centre d'Intégration Professionnel de Genève (ci-après: le CIP). Dans son rapport du 17 décembre 2001, le CIP a conclu à la possibilité théorique de réadapter l'assuré dans le cadre d'une activité professionnelle légère, assise, avec possibilité d'alterner les positions, à plein temps et rendement normal. Toutefois, les stages en entreprise ont démontré que la mise en oeuvre d'une mesure de réadaptation était vouée à l'échec en raison de l'attitude plaintive de l'assuré qui s'estimait inapte au travail. En raison de son comportement, l'assuré a été mis en demeure de se présenter à l'office AI le 24 janvier 2002 avec vingt preuves de recherches d'emploi dans des activités adaptées. L'assuré n'a pas effectué les démarches demandées, alléguant que son état de santé s'était aggravé et qu'il ne pouvait pas travailler. Pour le docteur B._, interrogé à ce sujet le 25 janvier 2002, l'état de santé de l'assuré n'avait connu aucune évolution depuis le 1er novembre 2000.
Par projets de décision du 1er février 2002, l'office AI a informé l'assuré qu'il entendait refuser les demandes de mesures d'ordre professionnel et de rente. L'assuré a alors produit un rapport médical du 18 février 2002 des docteurs U._ et C._. Par deux décisions datés du même jour (20 mars 2002), l'office AI a rejeté les demandes de prestations.
Par projets de décision du 1er février 2002, l'office AI a informé l'assuré qu'il entendait refuser les demandes de mesures d'ordre professionnel et de rente. L'assuré a alors produit un rapport médical du 18 février 2002 des docteurs U._ et C._. Par deux décisions datés du même jour (20 mars 2002), l'office AI a rejeté les demandes de prestations.
B. L._ a déféré les décisions du 20 mars 2002 à la Commission cantonale de recours AVS-AI, en concluant à l'octroi d'une demi-rente d'invalidité, subsidiairement, à l'ordonnance d'une expertise médicale. Il a joint à son recours un rapport médical de la doctoresse S._, médecin rhumatologue (rapport du 28 juin 2002). Le dossier a été transmis par la suite au Tribunal cantonal des assurances sociales du canton de Genève qui, par jugement du 17 mars 2004, a rejeté le recours.
B. L._ a déféré les décisions du 20 mars 2002 à la Commission cantonale de recours AVS-AI, en concluant à l'octroi d'une demi-rente d'invalidité, subsidiairement, à l'ordonnance d'une expertise médicale. Il a joint à son recours un rapport médical de la doctoresse S._, médecin rhumatologue (rapport du 28 juin 2002). Le dossier a été transmis par la suite au Tribunal cantonal des assurances sociales du canton de Genève qui, par jugement du 17 mars 2004, a rejeté le recours.
C. L._ interjette un recours de droit administratif contre ce jugement. Sous suite de frais et dépens, il conclut à l'octroi d'une rente d'invalidité, subsidiairement, à ce qu'une expertise pluridisciplinaire soit ordonnée.
L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte uniquement sur le droit du recourant à une rente de l'assurance-invalidité, celui-ci ne remettant plus en cause devant la Cour de céans le droit à des mesures de réadaptation professionnelle (cf. <ref-ruling> ss. consid. 1b et 2 et les références citées).
1. Le litige porte uniquement sur le droit du recourant à une rente de l'assurance-invalidité, celui-ci ne remettant plus en cause devant la Cour de céans le droit à des mesures de réadaptation professionnelle (cf. <ref-ruling> ss. consid. 1b et 2 et les références citées).
2. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'assurance-invalidité. Cependant, le cas d'espèce reste régi par les dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (<ref-ruling> consid. 1.2, 398 consid. 1.1 et les références). En outre, le Tribunal fédéral des assurances apprécie la légalité des décisions attaquées, en règle générale, d'après l'état de fait existant au moment où la décision litigieuse a été rendue (<ref-ruling> consid. 1b).
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852) ne sont pas non plus applicables.
Pour les mêmes motifs, les dispositions de la novelle du 21 mars 2003 modifiant la LAI (4ème révision), entrée en vigueur le 1er janvier 2004 (RO 2003 3852) ne sont pas non plus applicables.
3. Le recourant conteste en premier lieu la manière avec laquelle les premiers juges ont, sur la base des pièces produites au dossier, apprécié sa capacité de travail. Il fait également valoir l'absence de toute expertise médicale.
3.1 Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
Si l'administration ou le juge (cf. depuis le 1er janvier 2003 les art. 43 et 61 let. c LPGA), se fondant sur une appréciation consciencieuse des preuves fournies par les investigations auxquelles ils doivent procéder d'office, sont convaincus que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation, il est superflu d'administrer d'autres preuves (appréciation anticipée des preuves; Kieser, Das Verwaltungsverfahren in der Sozialversicherung, p. 212, n° 450; Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2e éd., p. 39, n° 111 et p. 117, n° 320; Gygi, Bundesverwaltungsrechtspflege, 2e éd., p. 274; cf. aussi <ref-ruling> consid. 4a, 122 III 223 consid. 3c, 120 Ib 229 consid. 2b, 119 V 344 consid. 3c et la référence). Une telle manière de procéder ne viole pas le droit d'être entendu selon l'art. 29 al. 2 Cst. (SVR 2001 IV n° 10 p. 28 consid. 4b), la jurisprudence rendue sous l'empire de l'art. 4 aCst. étant toujours valable (<ref-ruling> consid. 4b, 122 V 162 consid. 1d et l'arrêt cité).
3.2 En l'occurrence, il a lieu de constater que le docteur B._ (rapports des 1er novembre 2000 et 25 janvier 2002) et le CIP (rapport du 17 décembre 2001) ont relevé de manière concordante que les capacités physiques du recourant étaient compatibles avec un emploi léger à plein temps à la condition qu'il puisse travailler principalement assis, avec la possibilité d'alterner les positions. Le port de charges lourdes et la position inclinée devaient par contre être évités. De même, le docteur G._, sans toutefois se prononcer sur la question de la capacité résiduelle du travail, a estimé que le recourant était capable de reprendre une activité qui évite le port de charges lourdes. Quoiqu'en dise le recourant, les affirmations de la doctoresse S._ ne sont pas de nature à remettre en cause les conclusions auxquelles sont parvenus les autres intervenants appelés à examiner le recourant. En effet, cette praticienne expose un certain nombre d'hypothèses selon lesquelles le recourant « pourrait », selon le type d'activité exercée, disposer d'une capacité de travail allant de 60 à 100 %. Ces allégations sont toutefois trop vagues et insuffisamment motivées pour que l'on puisse leur accorder une quelconque valeur probante. Sur la base de ces éléments, les premiers juges ne sauraient être critiqués pour avoir considéré le dossier comme complet, et estimé, au degré de vraisemblance prépondérante requis en matière d'assurances sociales, que le recourant présente une capacité de travail de 100 % dans une activité légère et adaptée. La mise en oeuvre d'une expertise complémentaire en vue d'éclaircir la situation ne se justifie pas.
3.2 En l'occurrence, il a lieu de constater que le docteur B._ (rapports des 1er novembre 2000 et 25 janvier 2002) et le CIP (rapport du 17 décembre 2001) ont relevé de manière concordante que les capacités physiques du recourant étaient compatibles avec un emploi léger à plein temps à la condition qu'il puisse travailler principalement assis, avec la possibilité d'alterner les positions. Le port de charges lourdes et la position inclinée devaient par contre être évités. De même, le docteur G._, sans toutefois se prononcer sur la question de la capacité résiduelle du travail, a estimé que le recourant était capable de reprendre une activité qui évite le port de charges lourdes. Quoiqu'en dise le recourant, les affirmations de la doctoresse S._ ne sont pas de nature à remettre en cause les conclusions auxquelles sont parvenus les autres intervenants appelés à examiner le recourant. En effet, cette praticienne expose un certain nombre d'hypothèses selon lesquelles le recourant « pourrait », selon le type d'activité exercée, disposer d'une capacité de travail allant de 60 à 100 %. Ces allégations sont toutefois trop vagues et insuffisamment motivées pour que l'on puisse leur accorder une quelconque valeur probante. Sur la base de ces éléments, les premiers juges ne sauraient être critiqués pour avoir considéré le dossier comme complet, et estimé, au degré de vraisemblance prépondérante requis en matière d'assurances sociales, que le recourant présente une capacité de travail de 100 % dans une activité légère et adaptée. La mise en oeuvre d'une expertise complémentaire en vue d'éclaircir la situation ne se justifie pas.
4. Le recourant conteste en second lieu le calcul du degré de son invalidité.
4.1 Aux termes de l'<ref-law> (dans sa teneur en vigueur jusqu'au 31 décembre 2002), pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide. Pour procéder à la comparaison des revenus, il convient de sa placer au moment de la naissance du droit à la rente; les revenus avec et sans invalidité doivent être déterminés par rapport à un même moment et les modifications de ces revenus, susceptibles d'influencer le droit à la rente, survenues jusqu'au moment où la décision est rendue, doivent être prises en compte (<ref-ruling> consid. 4.1, 128 V 174).
Le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de l'intéressé. En l'absence d'un revenu effectivement réalisé, il y a lieu de se référer aux données statistiques, telles qu'elles résultent des enquêtes sur la structure des salaires de l'Office fédéral de la statistique (<ref-ruling> consid. 3b/aa et bb). La mesure dans laquelle les salaires ressortant des statistiques doivent être réduits, dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation) et résulte d'une évaluation dans les limites du pouvoir d'appréciation. Une déduction globale maximum de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (cf. <ref-ruling> consid. 5).
4.2 Au titre de revenu sans invalidité, il y a lieu de retenir le salaire que l'assuré aurait obtenu en 2002, à savoir, pour l'activité principale, 64'610 fr. 35 (cf. décompte d'indemnité perte de gain du 27 février 2002) et, pour l'activité accessoire, 8'501 fr. 75 ([16 fr. 35 de l'heure + 8,33 % de vacances] x 10 heures par semaine x 48 semaines par an). Dès lors, le revenu annuel sans invalidité pour 2002 s'élève à 73'112 fr. 10.
Pour le revenu d'invalide, dès lors que seules entrent en ligne de compte des activités légères, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (niveau de qualification 4) dans le secteur privé, à savoir 4'557 fr. par mois (Enquête suisse sur la structure des salaires 2002, TA1, p. 43). Ce salaire mensuel hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 2002 (41,7 heures; La Vie économique, 10-2004, B9.2, p. 90), un revenu d'invalide de 4'750 fr. 65 par mois (4'557 x 41,7 : 40) ou de 57'008 fr. 05 par année.
Il ressort du dossier que le recourant est né en 1965, qu'il est au bénéfice d'un permis d'établissement et d'une expérience professionnelle acquise en Suisse depuis 1985. Le stage en atelier a également révélé qu'il disposait de capacités d'adaptation et d'apprentissage compatibles avec un emploi dans le circuit économique normal. L'absence de formation ainsi que les effets des atteintes dont souffre le recourant ne justifient en l'espèce qu'une déduction de 10 % au plus. Le revenu d'invalide s'élève donc à 51'307 fr. 25.
La comparaison des revenus donne une invalidité de 30 % ([73'112 fr. 10 - 51'307 fr. 25] x 100 : 73'112 fr. 10), taux qui ne donne aucun droit à une rente de l'assurance-invalidité.
La comparaison des revenus donne une invalidité de 30 % ([73'112 fr. 10 - 51'307 fr. 25] x 100 : 73'112 fr. 10), taux qui ne donne aucun droit à une rente de l'assurance-invalidité.
5. Le recourant, qui succombe, ne saurait prétendre à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances sociales et à l'Office fédéral des assurances sociales.
Lucerne, le 5 novembre 2004
Au nom du Tribunal fédéral des assurances
p. le Juge présidant la IIIe Chambre: Le Greffier: