Sachverhalt: Sachverhalt: A. M._ (geb. 1960) war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen versichert. Am 11. Mai 2001 erlitt er einen Verkehrsunfall, für welchen die SUVA aufkam. Am 23. August 2002 wurde ein Rückfall gemeldet. Mit Verfügung vom 22. Oktober 2002 lehnte die Anstalt es ab, für im Zusammenhang mit diesem Ereignis geltend gemachte Spätfolgen Leistungen zu erbringen. Diese Verfügung bestätigte die SUVA mit Einspracheentscheid vom 23. Mai 2003. A. M._ (geb. 1960) war bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen die Folgen von Berufs- und Nichtberufsunfällen versichert. Am 11. Mai 2001 erlitt er einen Verkehrsunfall, für welchen die SUVA aufkam. Am 23. August 2002 wurde ein Rückfall gemeldet. Mit Verfügung vom 22. Oktober 2002 lehnte die Anstalt es ab, für im Zusammenhang mit diesem Ereignis geltend gemachte Spätfolgen Leistungen zu erbringen. Diese Verfügung bestätigte die SUVA mit Einspracheentscheid vom 23. Mai 2003. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 20. April 2004 ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 20. April 2004 ab. C. M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die SUVA sei für den Rückfall zu Leistungen zu verpflichten. Eventuell sei die Sache zu näheren Abklärungen an die Anstalt zurückzuweisen. Die SUVA schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Gesundheit auf eine Vernehmlassung verzichtet.