Sachverhalt:
Sachverhalt:
A. M._ (geb. 1960) war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen versichert. Am 11. Mai 2001 erlitt er einen Verkehrsunfall, für welchen die SUVA aufkam. Am 23. August 2002 wurde ein Rückfall gemeldet. Mit Verfügung vom 22. Oktober 2002 lehnte die Anstalt es ab, für im Zusammenhang mit diesem Ereignis geltend gemachte Spätfolgen Leistungen zu erbringen. Diese Verfügung bestätigte die SUVA mit Einspracheentscheid vom 23. Mai 2003.
A. M._ (geb. 1960) war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen versichert. Am 11. Mai 2001 erlitt er einen Verkehrsunfall, für welchen die SUVA aufkam. Am 23. August 2002 wurde ein Rückfall gemeldet. Mit Verfügung vom 22. Oktober 2002 lehnte die Anstalt es ab, für im Zusammenhang mit diesem Ereignis geltend gemachte Spätfolgen Leistungen zu erbringen. Diese Verfügung bestätigte die SUVA mit Einspracheentscheid vom 23. Mai 2003.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 20. April 2004 ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 20. April 2004 ab.
C. M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die SUVA sei für den Rückfall zu Leistungen zu verpflichten. Eventuell sei die Sache zu näheren Abklärungen an die Anstalt zurückzuweisen.
Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zur Leistungspflicht der SUVA im Allgemeinen (<ref-law>) und bei Spätfolgen (<ref-law>) sowie die Rechtsprechung zum natürlichen und zum adäquaten Kausalzusammenhang (<ref-ruling>, 117 V 359) und zur Bedeutung ärztlicher Auskünfte (<ref-ruling>) richtig dargelegt. Ferner trifft zu, dass das ATSG materiellrechtlich nicht anwendbar ist. Darauf wird verwiesen.
1. Das kantonale Verwaltungsgericht hat die gesetzlichen Bestimmungen zur Leistungspflicht der SUVA im Allgemeinen (<ref-law>) und bei Spätfolgen (<ref-law>) sowie die Rechtsprechung zum natürlichen und zum adäquaten Kausalzusammenhang (<ref-ruling>, 117 V 359) und zur Bedeutung ärztlicher Auskünfte (<ref-ruling>) richtig dargelegt. Ferner trifft zu, dass das ATSG materiellrechtlich nicht anwendbar ist. Darauf wird verwiesen.
2. Streitig und zu prüfen ist, ob die SUVA weitere Leistungen im Zusammenhang mit dem Unfall vom 11. Mai 2001 zu erbringen hat. Eine Leistungspflicht ist nur gegeben, wenn der natürliche und der adäquate Kausalzusammenhang zwischen den geklagten Spätfolgen und dem erwähnten Unfallereignis erfüllt sind.
2.1 Bezüglich der körperlichen Leiden ist auf Grund der echtzeitlichen medizinischen Akten erstellt, dass der Beschwerdeführer trotz des Unfalls weiter gearbeitet und erstmals am 3. Juli 2001 einen Arzt aufgesucht hat. Gemäss Bericht von Dr. med. M._, Facharzt für Neurologie und Psychiatrie, EEG, EMG, Neurosonologie, vom 6. Juli 2001 hätten rechtsbetonte Nackenschmerzen während einiger Tage nach dem Unfall angehalten. Vier Tage nach dem Ereignis sei die ganze rechte Hand gefühllos gewesen. Bildgebende Methoden vermochten keine Unfallläsionen darzustellen (Bericht der Radiologie am Spital G._ vom 12. Juli 2001). Im Bericht vom 12. September 2001 schrieb Dr. M._, die MRI-Untersuchungen des Schädels am genannten Spital vom 4. September 2001 hätten überall Normalbefunde gezeigt. Für die Gefühlsstörungen des rechten Arms liessen sich keine Erkrankungen des Nervensystems finden. Möglicherweise sei die Ursache in einer subjektiv empfundenen Sensibilitätsstörung zu suchen. Dies sei keine neurologische Krankheit im eigentlichen Sinne. In der Regel verschwänden solche Gefühlsstörungen mit der Zeit. Eine Arbeitsunfähigkeit lasse sich daraus nicht ableiten. Dr. med. H._, Allgemeine Medizin, gab im Arztzeugnis UVG vom 12. Dezember 2001 an, die Behandlung sei beendet, es liege keine Arbeitsunfähigkeit vor, und es seien keine bleibenden Nachteile zu erwarten. Unter diesen Umständen schloss die SUVA den Grundfall ab.
2.2 Im Zusammenhang mit den geltend gemachten Spätfolgen klagte der Beschwerdeführer über Nackenschmerzen, abendliche Kopf- und Schulterschmerzen sowie Ameisenlaufen am rechten Arm. Dr. H._ hielt im Bericht vom 4. September 2002 fest, die Beweglichkeit der Halswirbelsäule sei nicht eingeschränkt, und radiologisch zeigten sich keine massiven pathologischen Befunde. Es handle sich um Restbeschwerden nach Schleudertrauma. Die Behandlung des arbeitsfähigen Versicherten könne nach einer Physiotherapie abgeschlossen werden. In der Beurteilung vom 18. Oktober 2002 führte SUVA-Kreisarzt Dr. med. R._ aus, angesichts des durch die Cholesteatomoperation am linken Ohr (Januar 2002) aufgetretenen Zervikalsyndroms und der vorbestehenden Segmentsdegeneration C5/C6 könne kein Unfallkausalzusammenhang mehr ausgemacht werden. Dr. med. J._, Physikalische Medizin FMH, kam im Bericht vom 30. Oktober 2002 zum Schluss, bei den Beschwerden nach dem Unfall habe es sich um eine wohl vorübergehende Verschlimmerung vorbestehender Krankheitsveränderungen gehandelt. SUVA-Kreisarzt Dr. R._ hielt am 17. Februar 2003 fest, dass die von Dr. J._ erstellten Röntgenbilder keine Hinweise für eine traumatische, dauernde und richtungsweisende Verschlimmerung der HWS-Pathologie durch den Unfall zeigten.
2.3 Gestützt auf diese Angaben ist der natürliche Kausalzusammenhang zwischen den somatischen Spätfolgen und dem Unfall vom 11. Mai 2001 nicht mit dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit erstellt. Die späteren medizinischen Unterlagen vermögen an diesem Ergebnis nichts zu ändern. Dr. med. Z._, Allgemeinmedizin FMH, räumt in seinen Berichten vom 13. und 21. Juni 2003 vorbestehende unfallfremde körperliche Leiden ein. Wie die Vorinstanz zutreffend gewürdigt hat, begründet Dr. med. O._, Spezialarzt FMH für Chirurgie, speziell Wirbelsäulenleiden, Schleudertrauma und orthopädische Traumatologie, im Bericht vom 17. Oktober 2003 die angeblich überwiegend wahrscheinliche Unfallkausalität nicht. Von allfälligen neuen medizinischen Untersuchungen sind angesichts des bisherigen Zeitablaufes keine wesentlichen Erkenntnisse mehr zu erwarten, weshalb auf entsprechende Weiterungen zu verzichten ist.
2.4 Der Beschwerdeführer macht auch psychische Leiden geltend. Beim Unfall vom 11. Mai 2001 handelt es sich um ein mittelschweres Ereignis. Hinsichtlich der psychischen Leiden wäre der adäquate Kausalzusammenhang nur gegeben, wenn von den in <ref-ruling> Erw. 6c/aa bzw. 117 V 366 Erw. 6a genannten Kriterien mehrere zugleich oder eines davon in besonders auffallender Weise erfüllt wäre. Dies trifft offensichtlich nicht zu. Das Unfallgeschehen war nicht besonders eindrücklich und verlief ohne besonders dramatische Begleitumstände. Die Verletzungen konnten nicht von besonderer Schwere gewesen sein, da der Beschwerdeführer erst mehrere Wochen nach dem Unfall einen Arzt aufgesucht hat. Die Heilung dauerte nicht überdurchschnittlich lang, ärztliche Fehlbehandlungen sind nicht eingetreten, und die körperlich bedingte Arbeitsunfähigkeit dauerte nicht lange. Daher ist der adäquate Kausalzusammenhang zwischen den psychischen Spätfolgen und dem Unfall nicht erfüllt, weshalb die SUVA keine Leistungen zu erbringen hat.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Gesundheit (BAG) zugestellt.
Luzern, 30. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: