Faits:
Faits:
A. H._, né en 1944, a travaillé en qualité de manoeuvre dans le bâtiment. Le 20 janvier 1997, il a été victime d'un accident qui a entraîné une contusion du genou gauche. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris les suites de cet événement à sa charge. Par décision sur opposition du 16 septembre 1998, la CNA a mis fin au versement de ses prestations à partir du 2 mars 1998, car l'incapacité de travail qui perdurait ne se trouvait plus en relation de causalité avec l'accident, mais avait une origine maladive. Cette décision a été confirmée en procédure de recours par le Tribunal cantonal des assurances du canton de Vaud (jugement du 7 novembre 2002), puis par le Tribunal fédéral des assurances (arrêt du 8 octobre 2004, U 193/03).
Le 2 février 1998, H._ s'est annoncé à l'assurance-invalidité en sollicitant un reclassement professionnel ainsi qu'une rente. L'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a constaté que les affections de santé de l'assuré consistaient essentiellement en des problèmes dégénératifs des deux hanches, sans rapport avec l'accident du 20 janvier 1997. Il a dès lors confié un mandat d'expertise pluridisciplinaire au SMR X._.
Dans leur rapport du 25 février 2002, les docteurs B._, G._ et V._ ont diagnostiqué un syndrome lombo-vertébral avec atteinte déficitaire du réflèxe S1 gauche sur spondylo-discarthrose peu évoluée avec discopathie L5-S1, modérée et déconditionnement musculaire, une coxa vara bilatérale avec ébauche de coxarthrose, une discrète gonarthrose sur genua vara et discrète dysplasie rotulienne (Wiberg 2-3), un status après section de la corne postérieure et moyenne du ménisque interne du genou gauche le 08-12-97, après section de l'aileron rotulien externe le 05-05-97 et après fracture du bord externe de la rotule gauche le 12-02-97, un trouble somatoforme douloureux avec pseudo-extinction sensitive de la jambe gauche sans traduction radiculaire ni d'un territoire neurologique anatomique défini, ainsi qu'une surdité appareillée. Selon les médecins du SMR X._, ces affections réduisent la capacité de travail de l'assuré de 70 % dans un emploi de maçon. En revanche, dans une activité adaptée, privilégiant la position assise durant les deux tiers d'une journée, debout pour le tiers restant, avec alternance des positions, sans port de charges supérieures à 25 kg et d'accroupissement plus de 10 mn d'affilée, au maximum huit par jour, la capacité de travail de l'assuré serait de 100 %.
L'office AI a estimé que l'assuré serait en mesure de réaliser un gain annuel de 48'828 fr. compte tenu de son handicap. En comparant ce revenu avec le salaire annuel de 58'126 fr. 25 que l'assuré aurait pu obtenir sans l'atteinte à la santé, l'administration est parvenue à un taux d'invalidité de 16 %, si bien qu'elle a rejeté la demande de prestations, par décision du 10 avril 2002.
L'office AI a estimé que l'assuré serait en mesure de réaliser un gain annuel de 48'828 fr. compte tenu de son handicap. En comparant ce revenu avec le salaire annuel de 58'126 fr. 25 que l'assuré aurait pu obtenir sans l'atteinte à la santé, l'administration est parvenue à un taux d'invalidité de 16 %, si bien qu'elle a rejeté la demande de prestations, par décision du 10 avril 2002.
B. H._ a déféré cette décision au Tribunal des assurances du canton de Vaud. A titre principal, il a conclu implicitement à l'octroi d'une rente entière; subsidiairement, il a conclu au renvoi de la cause à l'administration. Il a par ailleurs requis la mise en oeuvre d'une expertise.
Par jugement du 22 décembre 2003, la juridiction cantonale a rejeté le recours, après avoir porté le taux d'invalidité de l'assuré à 20 %.
Par jugement du 22 décembre 2003, la juridiction cantonale a rejeté le recours, après avoir porté le taux d'invalidité de l'assuré à 20 %.
C. H._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en reprenant ses conclusions formulées en première instance. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le taux d'invalidité du recourant.
1. Le litige porte sur le taux d'invalidité du recourant.
2. Les premiers juges ont exposé correctement les règles applicables à la solution du litige, si bien qu'il suffit de renvoyer aux considérants du jugement attaqué.
2. Les premiers juges ont exposé correctement les règles applicables à la solution du litige, si bien qu'il suffit de renvoyer aux considérants du jugement attaqué.
3. Le recourant conteste les conclusions des médecins du SMR, tout particulièrement dans la mesure où ces derniers lui reconnaissent une capacité de travail entière dans un emploi adapté. Il allègue notamment que ses maux, d'origine traumatique et dégénérative, l'empêchent d'exercer toute activité professionnelle sédentaire, des travaux de précision, voire des tâches industrielles légères de contrôle ou d'assemblage dans le domaine de l'électronique. Ce genre d'emplois, allègue-t-il, lui est de toute manière étranger, à supposer qu'il existe réellement sur le marché du travail. Le recourant ajoute que les possibilités de retrouver un travail adapté sont compromises par ses troubles auditifs et son état dépressif. Un reclassement professionnel lui semble exclu. Quant au gain d'invalide dont l'intimé a tenu compte, il ne lui paraît pas réaliste.
Enfin, le recourant estime que le rapport du SMR X._ ne tient pas suffisamment compte des autres avis médicaux versés au dossier et qu'il ne constitue pas une expertise pluridisciplinaire.
Enfin, le recourant estime que le rapport du SMR X._ ne tient pas suffisamment compte des autres avis médicaux versés au dossier et qu'il ne constitue pas une expertise pluridisciplinaire.
4. 4.1 En l'occurrence, si le docteur A._ et les médecins de l'Hôpital Z._ ont attesté que leur patient ne dispose plus de capacité de travail dans un emploi de maçon, ils ont aussi précisé que des mesures d'ordre professionnel demeurent indiquées, dans le sens d'une activité exempte de gros efforts sans prolonger la position debout (cf. rapports des 12 février et 7 avril 1998). Compte tenu des incertitudes qui subsistaient à la lecture de ces deux avis, notamment les incidences éventuelles de la coxarthrose et de troubles psychiques sur la capacité de travail (cf. avis juridique du 23 novembre 2001), l'intimé a décidé à juste titre de mettre en oeuvre une expertise.
Le rôle des médecins du SMR X._ consistait à porter un jugement sur l'état de santé du recourant et à indiquer dans quelle mesure et pour quelles activités il est incapable de travailler, de même qu'à permettre de déterminer quels travaux on peut encore, raisonnablement, exiger de lui (cf. <ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1). Le rapport du du 25 février 2002 remplit toutes les conditions auxquelles la jurisprudence soumet la valeur probante de tels documents (cf. <ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références). En effet, leurs auteurs ont rendu leurs conclusions sur la base d'examens complets, les plaintes du recourant ont été pris en considération, et le rapport a été établi en pleine connaissance de l'anamnèse. Quant à la description du contexte médical et l'appréciation de la situation médicale, elles sont claires et les conclusions des médecins sont dûment motivées. Enfin, les médecins du SMR ont procédé à une appréciation consensuelle du cas, laquelle tient compte des affections somatiques et psychiques du patient.
Par ailleurs, le recourant n'invoque aucun élément concret qui serait de nature à jeter le doute sur les conclusions des médecins du SMR X._, de façon à justifier un complément d'instruction d'ordre médical. La cause se trouve donc en état d'être jugée d'un point de vue médical, si bien que le complément d'instruction que réclame le recourant est superflu.
4.2 C'est en vain que le recourant soutient qu'il ne dispose d'aucune capacité de travail dans une activité adaptée à son handicap. En effet, non seulement ses allégués ne trouvent aucun appui dans le dossier médical, mais son point de vue se heurte aux conclusions motivées des spécialistes du SMR X._.
Il s'ensuit que l'intimé a retenu à juste titre, lors de l'évaluation de l'invalidité, que le recourant est en mesure d'exercer une activité légère, principalement sédentaire, avec un plein rendement. Au regard du large éventail d'activités simples et répétitives que recouvrent les secteurs de la production et des services, on doit également convenir qu'un nombre significatif de ces activités sont légères et permettent l'alternance des positions et sont donc adaptées au handicap du recourant (voir, notamment, le consid. 6 de l'arrêt M. du 21 juillet 2005, I 298/04).
Il s'ensuit que l'intimé a retenu à juste titre, lors de l'évaluation de l'invalidité, que le recourant est en mesure d'exercer une activité légère, principalement sédentaire, avec un plein rendement. Au regard du large éventail d'activités simples et répétitives que recouvrent les secteurs de la production et des services, on doit également convenir qu'un nombre significatif de ces activités sont légères et permettent l'alternance des positions et sont donc adaptées au handicap du recourant (voir, notamment, le consid. 6 de l'arrêt M. du 21 juillet 2005, I 298/04).
5. Quant à la comparaison des revenus à laquelle les premiers juges ont procédé, elle ne prête nullement le flanc à la critique. En particulier, il sied de constater que la juridiction cantonale de recours a tenu compte équitablement de la situation personnelle du recourant en appliquant un facteur d'abattement de 20 % aux statistiques salariales, conformément à la jurisprudence (cf. <ref-ruling>).
5. Quant à la comparaison des revenus à laquelle les premiers juges ont procédé, elle ne prête nullement le flanc à la critique. En particulier, il sied de constater que la juridiction cantonale de recours a tenu compte équitablement de la situation personnelle du recourant en appliquant un facteur d'abattement de 20 % aux statistiques salariales, conformément à la jurisprudence (cf. <ref-ruling>).
6. 6.1 Selon la loi (art. 152 OJ) et la jurisprudence, les conditions d'octroi de l'assistance judiciaire gratuite sont en principe remplies si les conclusions ne paraissent pas vouées à l'échec, si le requérant est dans le besoin et si l'assistance d'un avocat est nécessaire ou du moins indiquée (<ref-ruling> consid. 4a, 372 consid. 5b et les références).
La jurisprudence considère que les conclusions paraissent vouées à l'échec lorsqu'une partie, disposant des moyens nécessaires, ne prendrait pas le risque, après mûre réflexion, d'engager un procès ou de le continuer (<ref-ruling> consid. 2.3.1, 128 I 236 consid. 2.5.3 et la référence).
6.2 En l'occurrence, la solution du litige ressortait à satisfaction du jugement attaqué. Quant aux moyens soulevés devant la Cour de céans, ils étaient dépourvus de pertinence, s'agissant pour l'essentiel d'allégués non documentés.
Il s'ensuit que le recours était voué à l'échec, si bien que les conditions d'octroi de l'assistance judiciaire pour la procédure fédérale ne sont pas réalisées.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
2. La requête d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais de justice.
3. Il n'est pas perçu de frais de justice.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 29 août 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: Le Greffier: