Sachverhalt:
A. Der 1954 geborene L._ ist als Maurer-Vorarbeiter in der Firma F._ AG tätig und dadurch bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen Unfallfolgen versichert. Am 1. März 2002 erlitt er bei der Arbeit einen Unfall, als ein Stein gegen sein rechtes Bein prallte. Dabei zog sich L._ am Unterschenkel ein Hämatom prätibial zu. Dieses heilte schlecht und entwickelte sich zu einem subcutanen Abszess mit chronischem posttraumatischen Ulcus, welcher Gesundheitsschaden am 16. April 2002 operativ versorgt wurde. Ab 3. Juni 2002 war der Versicherte wieder voll arbeitsfähig und am 9. Juli 2002 teilte der damalige Hausarzt mit, der Ulcus sei bis auf eine minime Fistelung verheilt. Die SUVA, welche Heilbehandlung gewährt und Taggeld ausgerichtet hatte, schloss den Fall hierauf folgenlos ab. Im Mai 2003 übernahm sie noch die Kosten einer ärztlichen Abklärung.
Im August/September 2007 liess L._ dem Versicherer Schmerzen am Unterschenkel als Rückfall melden. Die SUVA holte nebst weiteren medizinischen Abklärungen einen angiologischen Untersuchungsbericht des Dr. med. D._, Innere Medizin FMH, vom 1. November 2007 ein. Mit Verfügung vom 26. November 2007 und Einspracheentscheid vom 25. Februar 2008 verneinte sie ihre Leistungspflicht, da es am natürlichen Kausalzusammenhang zwischen diesen Beschwerden und dem Unfall vom 1. März 2002 fehle. Mit Beschwerdeentscheid vom 30. Mai 2008 hob das Verwaltungsgericht des Kantons Graubünden den Einspracheentscheid auf und wies die Sache zur ergänzenden medizinischen Abklärung, am ehesten durch ergänzenden Bericht des Dr. med. D._, und zur neuen Verfügung an den Versicherer zurück. Die SUVA holte hierauf einen neuen Bericht des Dr. med. D._ vom 26. August 2008 ein. Sie verneinte gestützt auf diesen Bericht und eine Stellungnahme des Kreisarztes Dr. med. R._, Facharzt FMH Orthopädische Chirurgie, vom 9. September 2008 mit Verfügung vom 17. September 2008 erneut einen Leistungsanspruch mit der Begründung, die gemeldeten Beschwerden seien nicht natürlich unfallkausal. L._ erhob Einsprache. Er legte einen Untersuchungsbericht der Frau Dr. med. C._, FMH Innere Medizin und Angiologie, vom 12. November 2008 auf, zu welchem sich Kreisarzt Dr. med. R._ mit ärztlicher Beurteilung vom 21. November 2008 äusserte. Mit Einspracheentscheid vom 26. Oktober 2009 hielt die SUVA an der Verfügung vom 17. September 2008 fest.
B. Beschwerdeweise beantragte L._, es sei der Einspracheentscheid vom 26. Oktober 2009 aufzuheben, im Hinblick auf Spätfolgen festzustellen, dass die Beschwerden Unfallfolge seien, und eine Integritätsentschädigung zuzusprechen. Er legte u.a. einen (von Frau Prof. Dr. med. A._, Klinikdirektorin, visierten) Bericht vom 24. November 2009 über die gleichentags an der Klinik für Angiologie des Spitals X._ durchgeführte Untersuchung mittels Mikrolymphographie bei. Die SUVA reichte hierauf die ärztliche Beurteilung des Dr. med. M._, Facharzt für Chirurgie FMH, von ihrer Abteilung Versicherungsmedizin vom 11. Januar 2010 ein. Dazu nahm Frau Prof. med. A._ mit Bericht vom 22. März 2010 Stellung. Mit Entscheid vom 24. August 2010 wies das Verwaltungsgericht des Kantons Graubünden die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt L._ die Aufhebung des vorinstanzlichen Entscheids beantragen und seine vorinstanzlichen Rechtsbegehren erneuern.
Die SUVA beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2. Streitig und zu prüfen ist, ob für die im August/September 2007 gemeldeten Beschwerden am rechten Unterschenkel infolge Rückfalls resp. Spätfolge zum Unfall vom 1. März 2002 ein Anspruch auf eine Integritätsentschädigung der obligatorischen Unfallversicherung besteht.
SUVA und kantonales Gericht haben einen solchen Leistungsanspruch mit der Begründung verneint, die geklagten Beschwerden seien nicht mit einem natürlich kausal auf den Unfall vom 1. März 2002 zurückzuführenden Gesundheitsschaden zu erklären.
3. Im angefochtenen Entscheid und im Einspracheentscheid vom 26. Oktober 2009 sind die Bestimmungen über die Leistungspflicht des Unfallversicherers bei Rückfällen und Spätfolgen im Besonderen (<ref-law>; <ref-law>) mit der dazu ergangenen Rechtsprechung, insbesondere auch zu dem erforderlichen natürlichen und adäquaten Kausalzusammenhang zwischen dem neuen Beschwerdebild und dem Unfall sowie zu den massgeblichen Beweisregeln (RKUV 1994 U Nr. 206 S. 326, U 180/93; vgl. auch aus jüngerer Zeit: Urteil 8C_179/2009 vom 3. August 2009 E. 2.1), zutreffend dargelegt. Darauf wird verwiesen.
Hervorzuheben ist, dass es zur Beurteilung sozialversicherungsrechtlicher Leistungsansprüche verlässlicher medizinischer Entscheidsgrundlagen bedarf (<ref-ruling> E. 5.1 S. 232). Versicherungsträger und Sozialversicherungsgericht prüfen nach dem Grundsatz der freien Beweiswürdigung die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und würdigen sie pflichtgemäss. Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist also entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis).
4. 4.1 Das kantonale Gericht hat erkannt, die Arztberichte bis und mit demjenigen der Frau Prof. Dr. med. A._ vom 24. November 2009 seien widersprüchlich. Deswegen habe die SUVA die ärztliche Beurteilung des Dr. med. M._ vom 11. Januar 2010 veranlasst. Der Versicherungsmediziner führe aus, bei der Beinschwellung handle es sich im Wesentlichen um ein Phlebödem infolge primärer Varikose, welche mit überwiegender Wahrscheinlichkeit unfallunabhängig sei. Die Diagnose eines unfallkausalen Lymphödems am rechten Unterschenkel erachte Dr. med. M._ für apparativ und medizinisch nicht belegt. Diese ärztliche Beurteilung sei überzeugend. Sie stimme auch mit den früheren Abklärungsberichten der Dres. med. D._ und R._ überein. Die abweichende Stellungnahme der Frau Prof. Dr. med. A._ vom 22. März 2010 rechtfertige keine andere Betrachtungsweise. Ein natürlicher Kausalzusammenhang zwischen dem Unfall vom 1. März 2002 und den im August 2007 als Rückfall gemeldeten Beinschwellungen sei demnach nicht mit überwiegender Wahrscheinlichkeit nachgewiesen. Damit bestehe auch kein Anspruch auf die geltend gemachte Integritätsentschädigung.
Der Beschwerdeführer macht geltend, gestützt auf die Berichte der Frau Dr. med. C._ vom 12. November 2008 und der Frau Prof. Dr. med. A._ vom 24. November 2009 und 22. März 2010 sei eine natürlich unfallkausale Schädigung am rechten Unterschenkel zu bejahen. Auf die Beurteilungen der SUVA-Ärzte könne nicht abgestellt werden. Denn diese seien für die Beschwerdegegnerin tätig und hätten sich zudem widersprüchlich sowie ausserhalb ihres medizinischen Fachgebietes geäussert. Die Versicherungsmediziner könnten sich überdies, anders als die beiden Ärztinnen, nicht auf eigene klinische Untersuchungen des Versicherten stützen. Dr. med. R._ berufe sich denn auch einzig auf Dr. med. D._, welcher aber nur sehr einfache und damit ungenügende Untersuchungen vorgenommen habe. Zudem sei zu beachten, dass sich Dr. med. D._ aus seinen eigenen ursprünglichen Widersprüchen habe herausmanövrieren wollen.
4.2 Alleine der Umstand, dass es sich bei den Dr. med. M._ und R._ um versicherungsinterne Ärzte handelt, rechtfertigt noch nicht, ihre Berichten den Beweiswert abzusprechen (<ref-ruling> E. 3b/ee S. 353 f.). Es ist aber zu betonen, dass solchen Berichten praxisgemäss nicht dieselbe Beweiskraft wie einem gerichtlichen oder einem im Verfahren nach <ref-law> vom Versicherungsträger in Auftrag gegebenen Gutachten zukommt. Zwar lässt ein Anstellungsverhältnis der medizinischen Fachperson zum Versicherungsträger alleine nicht schon auf mangelnde Objektivität und Befangenheit schliessen. Soll ein Versicherungsfall jedoch ohne Einholung eines externen Gutachtens entschieden werden, so sind an die Beweiswürdigung strenge Anforderungen zu stellen. Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen, so sind ergänzende Abklärungen vorzunehmen (vgl. <ref-ruling> E. 4.4 S. 469 f. mit Hinweisen).
Dr. med. R._ äussert sich nur kurz und stützt sich dabei einzig auf die Aussagen des Dr. med. D._. Massgebliche Bedeutung kann seinen Ausführungen daher unter den gegebenen Umständen nicht zukommen. Sodann setzt sich Dr. med. M._ zwar in der ärztlichen Beurteilung vom 11. Januar 2010 ausführlich mit der bestehenden medizinischen Problematik auseinander. Er hat aber den Versicherten selber nicht untersucht und lediglich eine Beurteilung nach Lage der Akten vorgenommen. Hinzu kommt, dass er Facharzt für Chirurgie ist. Es erscheint auch von daher mindestens fraglich, ob er bei der zur Diskussion stehenden Gesundheitsschädigung ärztliche Beurteilungen von Gefässspezialisten zu widerlegen vermöchte. Die Aussagen des Dr. med. D._ schliesslich hat das kantonale Gericht selber in Anbetracht der gesamthaft widersprüchlichen Arztberichte nicht als überzeugende Grundlage für den Ausschluss eines unfallkausalen Gesundheitsschadens erachtet.
Auf der anderen Seite lassen entgegen der Auffassung des Beschwerdeführers die Berichte der Frau Dr. med. C._ und der Frau Prof. Dr. med. A._ ihrerseits nicht verlässlich den Schluss zu, dass eine unfallkausale Gesundheitsschädigung am rechten Unterschenkel für die im Oktober 2007 gemeldeten Beschwerden verantwortlich ist. Frau Dr. med. C._ hat sich, wie das kantonale Gericht insofern zutreffend erkannt hat, hiefür zu unbestimmt geäussert. Und von Frau Prof. Dr. med. A._ liegt letztlich nur der - im Übrigen durch sie lediglich visierte - Kurzbericht über die am 24. November 2009 durchgeführte Untersuchung mittels Mikrolymphographie sowie die Stellungnahme vom 22. März 2010 zur ärztlichen Beurteilung des Dr. med. M._ vom 11. Januar 2010 vor. Eine umfassende medizinische Abklärung, welche auf einer eingehenden Befunderhebung und einer Auseinandersetzung mit den medizinischen Vorakten (wozu hier u.a. auch die Berichte des Dr. med. D._ und der Frau Dr. med. C._ gehören) beruht und sich überzeugend mit der Frage der Kausalität der erhobenen Befunde auseinander setzt, kann darin nicht gesehen werden. Das gilt erst recht, wenn berücksichtigt wird, dass sich die Ärztin bei der Bejahung der Unfallkausalität anscheinend massgeblich durch den beweisrechtlich unzulässigen (vgl. <ref-ruling> E. 2b/bb S. 341 f. mit Hinweis; SVR 2010 UV Nr. 10 S. 40, 8C_626/2009 E. 3.2) Schluss "post hoc ergo propter hoc" leiten liess.
4.3 Zusammenfassend ist festzuhalten, dass die vorliegenden Arztberichte früheren und aktuelleren Datums weder gesamthaft noch im einzelnen genügend überzeugend sind, um eine verlässliche Beurteilung des geltend gemachten Anspruchs auf eine Integritätsentschädigung zu gestatten. Es ist daher eine Abklärung im Sinne eines versicherungsexternen fachmedizinischen Gutachtens angezeigt. Die Sache wird zu dessen Einholung und zur neuen Verfügung über den streitigen Leistungsanspruch an die SUVA zurückgewiesen. In diesem Sinne ist die Beschwerde gutzuheissen.
5. Die Rückweisung der Sache an den Versicherungsträger zu erneuter Abklärung (mit noch offenem Ausgang) gilt praxisgemäss (<ref-ruling> E. 6.1 S. 235 mit Hinweisen; Urteil 8C_671/2007 vom 13. Juli 2008 E. 4.1 mit Hinweis) für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als volles Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie überhaupt beantragt, oder ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird. Die Beschwerdegegnerin hat daher die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 24. August 2010 und der Einspracheentscheid der Schweizerischen Unfallversicherungsanstalt vom 26. Oktober 2009 aufgehoben werden und die Sache an die Schweizerische Unfallversicherungsanstalt zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch neu verfüge.
2. Die Gerichtskosten von Fr. 750.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an den Verwaltungsgericht des Kantons Graubünden zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, Kammer 2 als Versicherungsgericht, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 29. März 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz