Sachverhalt: A. Der 1954 geborene L._ ist als Maurer-Vorarbeiter in der Firma F._ AG tätig und dadurch bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen Unfallfolgen versichert. Am 1. März 2002 erlitt er bei der Arbeit einen Unfall, als ein Stein gegen sein rechtes Bein prallte. Dabei zog sich L._ am Unterschenkel ein Hämatom prätibial zu. Dieses heilte schlecht und entwickelte sich zu einem subcutanen Abszess mit chronischem posttraumatischen Ulcus, welcher Gesundheitsschaden am 16. April 2002 operativ versorgt wurde. Ab 3. Juni 2002 war der Versicherte wieder voll arbeitsfähig und am 9. Juli 2002 teilte der damalige Hausarzt mit, der Ulcus sei bis auf eine minime Fistelung verheilt. Die SUVA, welche Heilbehandlung gewährt und Taggeld ausgerichtet hatte, schloss den Fall hierauf folgenlos ab. Im Mai 2003 übernahm sie noch die Kosten einer ärztlichen Abklärung. Im August/September 2007 liess L._ dem Versicherer Schmerzen am Unterschenkel als Rückfall melden. Die SUVA holte nebst weiteren medizinischen Abklärungen einen angiologischen Untersuchungsbericht des Dr. med. D._, Innere Medizin FMH, vom 1. November 2007 ein. Mit Verfügung vom 26. November 2007 und Einspracheentscheid vom 25. Februar 2008 verneinte sie ihre Leistungspflicht, da es am natürlichen Kausalzusammenhang zwischen diesen Beschwerden und dem Unfall vom 1. März 2002 fehle. Mit Beschwerdeentscheid vom 30. Mai 2008 hob das Verwaltungsgericht des Kantons Graubünden den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung, am ehesten durch ergänzenden Bericht des Dr. med. D._, und zur neuen Verfügung an den Versicherer zurück. Die SUVA holte hierauf einen neuen Bericht des Dr. med. D._ vom 26. August 2008 ein. Sie verneinte gestützt auf diesen Bericht und eine Stellungnahme des Kreisarztes Dr. med. R._, Facharzt FMH Orthopädische Chirurgie, vom 9. September 2008 mit Verfügung vom 17. September 2008 erneut einen Leistungsanspruch mit der Begründung, die gemeldeten Beschwerden seien nicht natürlich unfallkausal. L._ erhob Einsprache. Er legte einen Untersuchungsbericht der Frau Dr. med. C._, FMH Innere Medizin und Angiologie, vom 12. November 2008 auf, zu welchem sich Kreisarzt Dr. med. R._ mit ärztlicher Beurteilung vom 21. November 2008 äusserte. Mit Einspracheentscheid vom 26. Oktober 2009 hielt die SUVA an der Verfügung vom 17. September 2008 fest. B. Beschwerdeweise beantragte L._, es sei der Einspracheentscheid vom 26. Oktober 2009 aufzuheben, im Hinblick auf Spätfolgen festzustellen, dass die Beschwerden Unfallfolge seien, und eine Integritätsentschädigung zuzusprechen. Er legte u.a. einen (von Frau Prof. Dr. med. A._, Klinikdirektorin, visierten) Bericht vom 24. November 2009 über die gleichentags an der Klinik für Angiologie des Spitals X._ durchgeführte Untersuchung mittels Mikrolymphographie bei. Die SUVA reichte hierauf die ärztliche Beurteilung des Dr. med. M._, Facharzt für Chirurgie FMH, von ihrer Abteilung Versicherungsmedizin vom 11. Januar 2010 ein. Dazu nahm Frau Prof. med. A._ mit Bericht vom 22. März 2010 Stellung. Mit Entscheid vom 24. August 2010 wies das Verwaltungsgericht des Kantons Graubünden die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt L._ die Aufhebung des vorinstanzlichen Entscheids beantragen und seine vorinstanzlichen Rechtsbegehren erneuern. Die SUVA beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.