Sachverhalt:
A. Mit Schadenmeldung UVG vom 18. Januar 2006 teilte die Firma A._ der Schweizerischen Unfallversicherungsanstalt (SUVA) mit, R._, welcher seit 1. Mai 2005 als Gipser/Fassadenisoleur bei ihr tätig sei, habe sich am 26. Dezember 2005 bei einem Skiunfall eine Stauchung der Wirbelsäule zugezogen. R._ ist der Bruder des Inhabers der Firma A._. Die SUVA gewährte Heilbehandlung und richtete Taggeld aus. Nach verschiedenen Sachverhaltsabklärungen verneinte die SUVA mit Verfügung vom 26. Mai 2008 und Einspracheentscheid vom 14. Januar 2009 ihre Leistungspflicht aus der obligatorischen Unfallversicherung. Zur Begründung führte sie aus, R._ sei im Unfallzeitpunkt nicht als Unselbstständigerwerbender bzw. Angestellter in der Firma A._ tätig gewesen. Es bestehe daher für das Unfallereignis keine Versicherungsdeckung bei der SUVA. Dies wurde mit Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 19. August 2009 und letztinstanzlich mit Urteil 8C_752/2009 des Bundesgerichts vom 7. Januar 2010 bestätigt.
Mit Verfügung vom 9. März 2010 und Einspracheentscheid vom 2. Juli 2010 forderte die SUVA von R._ die Rückerstattung der im Zeitraum zwischen 29. Dezember 2005 und 31. März 2006 ungerechtfertigt erhaltenen Taggeldleistungen in Höhe von insgesamt Fr. 18'474.45. Die gegen diesen Einspracheentscheid erhobene Beschwerde des R._ wies das Verwaltungsgericht des Schwyz mit rechtskräftigem Entscheid vom 23. November 2010 (Versand: 17. Dezember 2010) ab.
Mit Verfügung vom 16. März 2011 und Einspracheentscheid vom 28. April 2011 wies die SUVA ein Gesuch des R._ um Erlass der Rückforderung mit der Begründung ab, es fehle am Erlasserfordernis des guten Glaubens.
B. R._ erhob gegen den Einspracheentscheid vom 28. April 2011 Beschwerde. Das Verwaltungsgericht des Kantons Schwyz wies diese und das mit ihr gestellte Gesuch um Gewährung der unentgeltlichen Verbeiständung ab (Entscheid vom 24. Oktober 2011).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt R._ beantragen, es sei der vorinstanzliche Entscheid aufzuheben und dem Erlassgesuch stattzugeben. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Sachverhaltsfeststellungen der Vorinstanz können nur berichtigt werden, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
2. Streitig und zu prüfen ist, ob die rechtskräftig festgestellte Rückforderungsschuld zu erlassen ist.
2.1 Das kantonale Gericht hat die Bestimmungen über den Erlass der Rückerstattung unrechtmässig bezogener Leistungen zutreffend dargelegt. Danach setzt dies kumulativ den gutgläubigen Leistungsbezug und das Vorliegen einer grossen Härte voraus (Art. 25 Abs. 1 zweiter Satz ATSG; <ref-law>). Richtig wiedergegeben ist auch die Rechtsprechung zum - hier umstrittenen - Erlasserfordernis des guten Glaubens (<ref-ruling> E. 2c S. 103; SVR 2008 AHV Nr. 13 S. 41, 9C_14/2007 E. 4.1; 2007 IV Nr. 13 S. 49, I 622/05 E. 3.1; vgl. auch SVR 2007 EL Nr. 8 S. 19, 8C_1/2007 E. 2.1). Darauf wird verwiesen.
2.2 Rechtsprechungsgemäss ist zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann und ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Das Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von <ref-law>, vorbehältlich <ref-law>, von der Vorinstanz verbindlich beantwortet wird (E. 1 hievor). Demgegenüber handelt es sich bei der gebotenen Aufmerksamkeit um eine frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (vgl. <ref-ruling> E. 3 S. 223; SVR 2010 AlV Nr. 2 S. 3, 8C_269/2009 E. 4.2; erwähnte Urteile SVR 2008 AHV Nr. 13 E. 4.2, 2007 EL Nr. 8 E. 2.2 und 2007 IV Nr. 13 E. 3.2).
3. Ausgangspunkt der Beurteilung der Gutgläubigkeit bildet die rechtskräftige Feststellung, dass der Beschwerdeführer, anders als dies gegenüber der SUVA angegeben worden war, im massgeblichen Zeitpunkt nicht als Unselbstständigerwerbender bzw. Angestellter in der Firma A._ tätig war und daher mangels Versicherteneigenschaft keinen Anspruch auf die bezogenen Leistungen der obligatorischen Unfallversicherung hatte.
Zu prüfen ist, ob der Beschwerdeführer sich der Unrechtmässigkeit des Leistungsaspekts bewusst war oder bei der gebotenen Aufmerksamkeit hätte bewusst sein müssen. Das kantonale Gericht hat beides bejaht.
3.1 Die Bejahung des Unrechtsbewusstseins durch die Vorinstanz ist jedenfalls nicht als offensichtlich unrichtig oder als rechtsverletzend im Sinne von <ref-law> zu betrachten. Das ergibt sich schon daraus, dass sich der Beschwerdeführer kurz vor dem Unfall als Selbstständigerwerbender bei einer Ausgleichskasse hatte registrieren und überdies die BVG-Freizügigkeitsleistung hatte auszahlen lassen. Dies führte denn auch, nebst anderen Aspekten, massgeblich zur Verneinung seines UVG-Versichertenstatus (erwähntes Urteil 8C_752/2009 E. 4). Es ist schon mit Blick auf diese eigenen Verhaltensweisen des Beschwerdeführers absolut unglaubhaft, wenn geltend gemacht wird, ihm sei der fehlende Arbeitnehmer- und Versichertenstatus, und damit die Unrechtmässigkeit des Leistungsbezugs, nicht bewusst gewesen.
3.2 Selbst wenn dies noch hätte bejaht werden können, wäre aufgrund der Gegebenheiten vom Beschwerdeführer jedenfalls zu erwarten gewesen, dass er sich vor dem Leistungsbezug über die Anspruchsberechtigung näher informiert oder zumindest dem Unfallversicherer die doch besonderen Umstände angegeben hätte, damit dieser sie bei der Prüfung der Leistungsberechtigung hätte berücksichtigen können. Das kantonale Gericht hat daher zu Recht darauf erkannt, dass dem Beschwerdeführer bei Wahrung der gebotenen Aufmerksamkeit die fehlende Anspruchsberechtigung bewusst geworden wäre, was den guten Glauben ebenfalls ausschliesst.
3.3 Die Einwände des Beschwerdeführers rechtfertigen keine andere Betrachtungsweise. Sie vermögen allesamt nicht die vorinstanzliche Beurteilung zu widerlegen, dass das Unrechtsbewusstsein gegeben war. Erst recht gestatten die Vorbringen des Beschwerdeführers nicht den Schluss, dass dieses Unrechtsbewusstsein bei der gebotenen Aufmerksamkeit nicht vorgelegen hätte. Es kann, ohne dass die Einwände einzeln abgehandelt werden müssten, auf die überzeugenden Erwägungen im angefochtenen Entscheid verwiesen werden.
3.4 Die offensichtlich unbegründete Beschwerde ist im Verfahren nach <ref-law> abzuweisen.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Das Gesuch um Gewährung der unentgeltlichen Rechtspflege (im Sinne der vorläufigen Befreiung von Gerichtskosten und der unentgeltlichen Verbeiständung) wird infolge Aussichtslosigkeit der Beschwerde abgewiesen (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 11. Mai 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz