Sachverhalt:
A. Der 1964 geborene H._ verletzte sich am 18. Februar 2006 bei einem Unfall an der rechten Schulter. Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger obligatorischer Unfallversicherer gewährte Heilbehandlung und richtete, zeitweise direkt an den Versicherten, Taggeld aus. In der Folge erhielt die SUVA Kenntnis davon, dass H._ früher, als ihr angegeben, wieder in einem den Anspruch auf Taggeld ausschliessenden Umfang arbeitstätig gewesen war. Sie kam zum Ergebnis, der Versicherte habe demnach ab Mai 2006 unrechtmässig Taggeld von insgesamt Fr. 11'933.40 bezogen. Dieses Taggeld habe er ihr zurückzuerstatten. Anlässlich einer Besprechung vom 7. Dezember 2006 anerkannte H._ diese Rückforderung der SUVA, was er unterschriftlich bestätigte. Nachdem H._ finanzielle Probleme geltend gemacht hatte, teilte ihm der Versicherer mit Schreiben vom 17. Januar 2007 mit, er solle Akontozahlungen nach seinen finanziellen Möglichkeiten leisten. H._ bezahlte in der Folge lediglich gesamthaft Fr. 1'100.- ab. Dies veranlasste die SUVA, mit Verfügung vom 30. April 2010 die Rückerstattung der restlichen Fr. 10'833.40 zu verlangen. H._ reichte in der Folge zwei Eingaben vom 21. Mai und 9. Juni 2010 ein. Die SUVA betrachtete diese als Gesuch um Erlass der Rückforderung, welches sie mit Verfügung vom 9. Juli 2010 abwies.
B. Mit Eingabe vom 1. September 2010 erhob H._ Beschwerde mit dem - replicando präzisierten - Antrag, die Verfügungen vom 30. April und 9. Juli 2010 seien aufzuheben. Das Verwaltungsgericht des Kantons Zug gewährte ihm die unentgeltliche Verbeiständung. Mit Entscheid vom 17. März 2011 trat es auf die Beschwerde nicht ein und überwies die Eingabe vom 1. September 2010 als Einsprache gegen die Erlassverfügung vom 9. Juli 2010 an die SUVA (Dispositiv Ziff. 1). Es erhob keine Kosten (Dispositiv Ziff. 1), verneinte einen Anspruch auf Parteientschädigung und sprach der unentgeltlichen Rechtsbeiständin eine Entschädigung zu (Dispositiv Ziff. 3).
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, Dispositiv Ziff. 1 des vorinstanzlichen Entscheid und die beiden SUVA-Verfügungen seien aufzuheben; evtl. sei Dispositiv Ziff. 1 des vorinstanzlichen Entscheids aufzuheben und die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen.
Die SUVA schliesst auf Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Gesundheit verzichtet auf eine Vernehmlassung.
D. Mit Verfügung vom 7. Juni 2011 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Streitig und zu prüfen ist, ob das kantonale Gericht zu Recht nicht auf die vom Versicherten erhobene Beschwerde eingetreten ist.
Die - gestützt auf <ref-law> anwendbaren - Bestimmungen des ATSG, welche für die Beurteilung der Streitsache massgebend sind, hat das kantonale Gericht im angefochtenen Entscheid zutreffend dargelegt. Hervorzuheben ist Folgendes:
Unrechtmässig bezogene Leistungen sind zurückzuerstatten (Art. 25 Abs. 1 erster Satz ATSG). Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Art. 25 Abs. 1 zweiter ATSG). Nähere Regelungen zu diesem Erlass der Rückerstattung enthält <ref-law>.
Weiter gilt, dass gegen Verfügungen (des Unfallversicherers) innerhalb von 30 Tagen bei der verfügenden Stelle Einsprache erhoben werden kann; davon ausgenommen sind prozess- und verfahrensleitende Verfügungen (<ref-law>). Gegen Einspracheentscheide oder gegen Verfügungen, gegen welche eine Einsprache ausgeschlossen ist, kann Beschwerde erhoben werden (<ref-law>).
2. Die Vorinstanz hat erwogen, die SUVA habe die Eingaben des Beschwerdeführers vom 21. Mai und 9. Juni 2010 zu Recht nicht als Einsprache gegen die Verfügung vom 30. April 2010, sondern als Gesuch um Erlass der in dieser verfügten Rückforderung behandelt. Über dieses Gesuch habe die SUVA mit Verfügung vom 9. Juli 2010 befunden. Einwände hiegegen müssten zunächst mit Einsprache vorgebracht werden. Die Beschwerde stehe erst gegen den hierauf ergehenden Einspracheentscheid offen. Auf die vom Versicherten erhobene Beschwerde sei daher nicht einzutreten. Seine Eingabe vom 1. September 2010 sei als Einsprache gegen die Erlassverfügung vom 9. Juli 2010 zu betrachten und entsprechend an die SUVA zu überweisen.
Der Beschwerdeführer hält an seiner vorinstanzlich geäusserten Auffassung fest, wonach er mit der Eingabe vom 21. Mai 2010 Einsprache gegen die Rückforderungsverfügung vom 30. April 2010 erhoben habe. Damit sei die Verfügung der SUVA vom 9. Juli 2010 als Einspracheentscheid zu betrachten, gegen welchen wiederum die Beschwerde offenstehe.
3. Die Annahme einer Einsprache setzt u.a. voraus, dass der Wille zum Ausdruck gebracht wird, die erlassene Verfügung nicht zu akzeptieren (vgl. Urteil I 664/03 vom 19. November 2004 E. 2.3 mit Hinweis auf <ref-ruling> E. 1b S. 350; UELI KIESER, ATSG-Kommentar, 2. Aufl. 209, N. 23 zu Art. 52).
3.1 Ein solcher Anfechtungswille geht aus den Eingaben vom 21. Mai 2010 (und auch aus der ohnehin nach Ablauf der 30tägigen Einsprachefrist eingereichten Eingabe vom 9. Juni 2010) selbst bei grosszügiger Auslegung nicht hervor. Die darin enthaltenen Äusserungen zeigen vielmehr auf, dass der Beschwerdeführer nicht die Rechtmässigkeit der Rückforderungsverfügung vom 30. April 2010 in Frage stellen wollte, sondern dass es ihm einzig darum ging, aufgrund seiner beengten finanziellen Verhältnisse erlassweise von der Bezahlung der Rückforderung entbunden zu werden. Dieses Verständnis der Eingaben steht denn auch im Einklang mit dem vorangegangenen Verhalten des Beschwerdeführers, hatte doch dieser die Berechtigung der Rückforderung nie in Frage gestellt, sondern vielmehr am 7. Dezember 2006 ausdrücklich unterschriftlich anerkannt und in der Folge auch Teilrückzahlungen geleistet.
Wenn die SUVA und das kantonale Gericht die Eingaben vom 21. Mai und 9. Juni 2010 nicht als Einsprache, sondern als Erlassgesuch qualifiziert haben, ist dies nach dem Gesagten nicht zu beanstanden.
3.2 Die Einwände des Beschwerdeführers rechtfertigen keine andere Betrachtungsweise. Das gilt insbesondere auch für die Verwendung des Begriffes "Einspruch" in den Betreffs-Zeilen der Eingaben vom 21. Mai und 9. Juni 2010, zumal der Beschwerdeführer die Eingaben auch mit "Gesuch um Erlass nach <ref-law>" betitelt hat. Dass die SUVA dem Beschwerdeführer telefonisch "den Empfang der fristgerechten Einsprache" bestätigt hat, stellt die vorinstanzliche Beurteilung ebenfalls nicht in Frage. Es kann auf die überzeugenden Erwägungen des kantonalen Gerichtes verwiesen hat. Dieses hat in einlässlicher Würdigung der Sach- und Rechtslage zutreffend erkannt, die besagten Aspekte änderten nichts an dem klar dokumentierten Umstand, dass es dem Beschwerdeführer nicht um die Anfechtung der Rückforderungsverfügung ging. Nichts anderes ergibt sich auch aus dem Umstand, dass in der Verfügung vom 30. April 2010 auf die Einsprachemöglichkeit hingewiesen wurde und die Eingabe des Beschwerdeführers vom 21. Mai 2010 innerhalb der 30tägigen Einsprachefrist eingereicht worden ist. Aufgrund des klar erkennbaren Inhalts der Eingaben vom 21. Mai und 9. Juni 2010 war es sodann nicht erforderlich, dem Versicherten unter dem Gesichtswinkel des Anspruchs auf rechtliches Gehörs die Gelegenheit zu einer Präzisierung seiner Vorbringen zu geben. Auch der Einwand, der Beschwerdeführer sei damals noch nicht anwaltlich vertreten gewesen, geht fehl, zumal diesem die Umstände und die Bedeutung der Rückforderung zweifellos spätestens ab seiner unterschriftlichen Anerkennung vom 7. Dezember 2006 bekannt waren.
3.3 Stellen die Eingaben vom 21. Mai und 9. Juni 2010 nach dem Gesagten keine Einsprache dar, folgt - mangels anderer Willensäusserungen des Beschwerdeführers, welche gegebenenfalls als Einsprache betrachtet werden könnten -, dass die Rückforderungsverfügung vom 30. April 2010 unangefochten in Rechtskraft erwachsen ist und es nur noch um die Rechtmässigkeit der Erlassverfügung vom 9. Juli 2010 gehen kann.
3.4 Die Vorinstanz hat erkannt, bei der Verfügung vom 9. Juli 2010 handle es sich nicht um eine prozess- und verfahrensleitende Verfügung im Sinne von Art. 52 Abs. 1 zweiter Satz ATSG, gegen welche die Einsprache ausgeschlossen sei. Daher könne gegen die Verfügung nicht direkt Beschwerde erhoben werden, sondern müsse zuerst das Einspracheverfahren durchlaufen werden.
Diese Beurteilung ist im Lichte der eingangs dargelegten Grundsätze (E. 1 hievor) nicht zu beanstanden. Es folgt daraus, dass die Vorinstanz zu Recht nicht auf die Beschwerde eingetreten ist. Dies führt zur Abweisung der letztinstanzlichen Beschwerde.
4. Die Vorinstanz hat sodann "der Vollständigkeit halber" festgehalten, selbst wenn die Eingabe vom 21. Mai 2010 als Einsprache gegen die Rückforderungsverfügung vom 30. April 2010 qualifiziert würde, führte dies nicht zu einem für den Versicherten günstigeren Ergebnis. Der Beschwerdeführer erhebe gegenüber der Rückforderungsverfügung - einzig - den Einwand, diese sei erst nach Ablauf der einjährigen Frist gemäss <ref-law> und somit in einem Zeitpunkt, in welchem die Rückforderung verwirkt gewesen sei, ergangen. Die erst im kantonalen Beschwerdeverfahren erfolgte Erhebung dieser Einrede müsste indessen aufgrund der gesamten Umstände als rechtsmissbräuchlich betrachtet werden.
Diese Beurteilung bedarf entgegen der in der Beschwerde vertretenen Auffassung keiner näheren Prüfung. Denn selbst wenn die Rückforderung im Sinne des Einwandes verwirkt gewesen wäre, hätte dies nicht etwa die Nichtigkeit, sondern lediglich die Anfechtbarkeit der Rückforderungsverfügung vom 30. April 2010 zur Folge (vgl. <ref-ruling> E. 3.4 S. 369; Urteile 5A_102/2011 vom 2. Mai 2011 E. 3.4 und H 60/01 vom 19. November 2001 E. 4b mit Hinweisen). Das heisst, der entsprechende Einwand hätte mit Einsprache gegen diese Verfügung vorgebracht werden müssen. Das ist nicht geschehen, wurde doch nach dem zuvor Gesagten keine Einsprache erhoben. Damit kann offenbleiben, ob andernfalls der Verwirkungseinwand mit der Vorinstanz als rechtsmissbräuchlich zu betrachten wäre.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 750.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 17. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz