Sachverhalt:
A. Der angolanische Staatsangehörige L._ (geb. 1961), dessen Asylgesuch mit Nichteintretensentscheid abgewiesen wurde, bezieht seit November 2009 wirtschaftliche Nothilfe. Diese wurde von der Gemeinde X._ ausgerichtet, bevor am 5. Juli 2010 eine Umteilung an das Sozialamt von Y._ erfolgte. Auf das von L._ bei der Sozialhilfe- und Vormundschaftsbehörde X._ eingereichte Gesuch um Nothilfe trat diese mit Verfügung vom 2. November 2010 nicht ein und überwies dieses zuständigkeitshalber an das Sozialamt Y._. Den Rekurs vom 6. November 2010, mit welchem L._ die fehlende Rechtsgrundlage für eine Umteilung nach Y._ rügte, wies der Gemeinderat X._ am 3. Dezember 2010 mit der Begründung ab, es bestehe kein Anspruch, die Nothilfe im Sinne von <ref-law> in einer bestimmten Gemeinde zu erhalten, solange die praktische Erhältlichmachung nicht erschwert werde; die damit gegenstandslos gewordene Rechtsverweigerungsbeschwerde schrieb er ab.
B. B.a Gegen diesen Entscheid rekurrierte L._ am 20. Dezember 2010 beim Sicherheits- und Justizdepartement des Kantons St. Gallen (nachfolgend: SJD). Am 18. Januar 2011 stellte er zudem das Begehren, die Vorsteherin des SJD und dessen Leiter Rechtsdienst hätten wegen Befangenheit in den Ausstand zu treten, da diese es zu vertreten hätten, dass keine gesetzliche Grundlage dafür bestehe, dass Nothilfesuchende an eine andere Gemeinde verwiesen werden könnten, wenn dies zur Erreichung einer gleichmässigen Belastung nötig erscheine. Sie seien befangen, wenn sie nun feststellen müssten, dass diese Gesetzesgrundlage aufgrund eigener Versäumnisse fehle. Das SJD überwies die Akten dem Gesundheitsdepartement zur weiteren Behandlung und beantragte Abweisung des Ausstandsbegehrens. Mit Entscheid vom 29. März 2011 wies die Regierung des Kantons St. Gallen das Ausstandsbegehren ab.
B.b Dagegen erhob L._ beim Verwaltungsgericht des Kantons St. Gallen Beschwerde. Im Weiteren ersuchte er um unentgeltliche Rechtspflege. Mit verfahrensleitender Verfügung vom 16. Mai 2011 wies der Vizepräsident des Verwaltungsgerichts des Kantons St. Gallen das Gesuch um unentgeltliche Rechtspflege infolge Aussichtslosigkeit der Beschwerde ab und forderte L._ auf, einen Kostenvorschuss von Fr. 500.- zu bezahlen.
C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, die vorinstanzliche Verfügung sei aufzuheben und das Gesuch um unentgeltliche Rechtspflege vor dem kantonalen Verwaltungsgericht sei gutzuheissen; eventuell sei die Vorinstanz anzuweisen, das Begehren um unentgeltliche Rechtspflege erneut zu beurteilen. Weiter sei aufschiebende Wirkung betreffend Kostenvorschusszahlung für das Verfahren vor dem Verwaltungsgericht des Kantons St. Gallen anzuordnen. Gleichzeitig wird um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ersucht.
Mit Eingabe vom 9. Juni 2011 reichte L._ einen Nachtrag zur Beschwerdeschrift vom 5. Juni 2011 ein.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1. Streitig im vorliegenden Verfahren ist einzig die von der Vorinstanz verweigerte Gewährung der unentgeltlichen Rechtspflege. Dabei handelt es sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; <ref-ruling>; SVR 2009 UV Nr. 12 S. 49, 8C_530/2008 E. 2; Urteil 8C_586/2010 vom 24. September 2010 E. 1). Davon ist jedenfalls dann auszugehen, wenn nicht nur die unentgeltliche Rechtspflege verweigert, sondern wie hier zugleich auch die Anhandnahme des Rechtsmittels von der Bezahlung eines Kostenvorschusses durch die gesuchstellende Partei abhängig gemacht wird (<ref-ruling> E. 2b S. 202 mit Hinweisen; <ref-ruling> E. 2a S. 210; Urteile 2C_74/2011 vom 1. Juli 2011 E. 1.2; 2C_230/2009 vom 2. Juli 2009 E. 1.3). Die Beschwerde erweist sich damit als zulässig, zumal auch die weiteren Eintretensvoraussetzungen erfüllt sind.
2. Der Beschwerdeführer rügt eine Verletzung von <ref-law> und Art. 4 Abs. 2 lit. d in Verbindung mit Art. 95 Abs. 1 lit. c KV/SG (sGS 111.1).
2.1 Nach <ref-law> hat jede Person, die nicht über die erforderlichen Mittel verfügt, Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht als aussichtslos erscheint; soweit es zur Wahrung ihrer Rechte notwendig erscheint, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Da der Beschwerdeführer nicht geltend macht, das kantonale Recht gewähre einen darüber hinaus gehenden Anspruch, ist die Rüge im Lichte von <ref-law> zu prüfen.
2.2 Der Vizepräsident des Verwaltungsgerichts ging davon aus, das Ausstandsbegehren des Beschwerdeführers sei aussichtslos, weshalb kein Anspruch auf unentgeltliche Rechtspflege bestehe.
2.3 Als aussichtslos sind nach der bundesgerichtlichen Praxis Prozessbegehren anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese (<ref-ruling> E. 5 S. 616). Massgebend ist, ob eine Partei, die über die nötigen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde. Wie es sich damit verhält, prüft das Bundesgericht in tatsächlicher Hinsicht unter dem Blickwinkel der Willkür, in rechtlicher Hinsicht grundsätzlich mit freier Kognition (<ref-ruling> E. 2.3.1 S. 136 mit Hinweisen). Dabei ist Rechtsfrage, welche Umstände bei der Beurteilung der Prozessaussichten in Betracht fallen und ob sie für oder gegen eine hinreichende Erfolgsaussicht sprechen, Tatfrage hingegen, ob und wieweit einzelne Tatumstände erstellt sind (<ref-ruling> E. 2c S. 307).
3. 3.1 Wann Mitglieder von Administrativbehörden in den Ausstand zu treten haben, bestimmt sich nach dem anwendbaren (hier kantonalen) Verfahrensrecht und nach den aus <ref-law> abgeleiteten Grundsätzen (<ref-ruling> E. 3b ff. S. 123; Urteil 2C_36/2010 vom 14. Juni 2010 E. 3.1). Die Vorinstanz stützte ihren Entscheid unter anderem auf § 7 des kantonalen Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege (VRP; sGS 951.1), worin die Ausstandsregeln für das Verwaltungsverfahren im Kanton St. Gallen enthalten sind. Zu dieser Bestimmung äussert sich der Beschwerdeführer nicht. Er macht namentlich nicht geltend, dass sich daraus weitergehende Ausstandspflichten als aus <ref-law> ergeben würden und dass die Vorinstanz diese Norm in verfassungswidriger Weise angewendet habe. Das von der Vorinstanz als aussichtslos erachtete Ausstandsbegehren ist daher mit Blick auf die zu <ref-law> ergangene Rechtsprechung zu überprüfen.
3.2 Politische Behörden (Kantonsregierungen, Gemeindeexekutiven usw.) sind aufgrund ihres Amtes, anders als ein Gericht, nicht allein zur (neutralen) Rechtsanwendung oder Streitentscheidung berufen. Sie tragen zugleich eine besondere Verantwortung für die Erfüllung bestimmter öffentlicher Aufgaben. Zu politisch bedeutsamen Streitfällen oder umstrittenen Projekten haben sich die betroffenen Behördenmitglieder - sei es als Politiker oder im Rahmen ihrer bisherigen Amtstätigkeit - häufig schon vor oder ausserhalb der Durchführung eines förmlichen Verwaltungsverfahrens eine bestimmte Meinung gebildet und diese unter Umständen in politischen Gremien oder in der Öffentlichkeit auch bereits geäussert. Dies allein kann verfassungsrechtlich noch nicht eine Ausstandspflicht begründen, würde doch sonst die Verwaltungsrechtspflege durch politische Behörden in vielen Fällen geradezu verunmöglicht. Nach der Rechtsprechung haben nichtrichterliche Amtspersonen im Wesentlichen nur dann in den Ausstand zu treten, wenn sie an der zu behandelnden Streitsache ein persönliches Interesse haben, zu einem früheren Zeitpunkt gegenüber der Partei ihre persönliche Geringschätzung oder Abneigung zum Ausdruck gebracht haben oder wenn ihnen Verfahrens- oder Ermessensfehler unterlaufen sind, die nach ihrer Natur oder wegen ihrer aussergewöhnlichen Häufung besonders schwer wiegen und auf eine gravierende Verletzung ihrer Amtspflichten gegenüber der betroffenen Person hinauslaufen (vgl. <ref-ruling> E. 3d ff. S. 123; Urteile 2C_643/2010 vom 1. Februar 2011 E. 5.5.1; 2C_36/2010 vom 14. Juni 2010 E. 3.3; 2A.364/1995 vom 14. Februar 1997 E. 3b).
4. 4.1 Die Vorinstanz hat erwogen, aufgrund der Angaben in der Beschwerdeschrift sei nicht nachvollziehbar, dass die Vorsteherin oder der Rechtsdienstleiter des SJD eine kantonale Praxis als rechtswidrig anerkannt hätten und daran festhalten würden. Richtlinien der Vereinigung der St. Galler Gemeindepräsidentinnen und -präsidenten stellten keine Rechtsnorm dar, an welche die Departemente gebunden wären. Zudem beruhe die Argumentation des Beschwerdeführers auf den von ihm nicht weiter erhärteten Hypothesen, dass keine kantonalgesetzliche Grundlage für die Bestimmung der Zuständigkeit bei der Leistung von Nothilfe bestehe und dass dieser Zustand rechtswidrig und zudem auf ein rechtswidriges Verhalten der Departementsvorsteherin und des Rechtsdienstleiters zurückzuführen sei. Allgemeine Äusserungen zu einer bestimmten Rechtsfrage begründeten keine Voreingenommenheit in einem konkreten Verfahren, in dem diese Rechtsfrage erstmals in einem konkreten Anwendungsfall zu entscheiden sei.
4.2 Soweit der Beschwerdeführer den Sachverhalt aus seiner eigenen Sicht darstellt, ohne auf die entsprechenden Erwägungen der Vorinstanz einzugehen, vermag er damit nicht darzutun, dass die rechtliche Würdigung durch die Vorinstanz anders hätte ausfallen müssen und das Ausstandsbegehren deshalb nicht aussichtslos gewesen wäre. Mit dem allgemeinen Hinweis, wonach Befangenheit umso eher anzunehmen sei, je exponierter sich ein Regierungsmitglied gegen eine bestimmte Gesetzgebung gestellt habe, kann nach der in E. 3.2 hievor dargelegten Rechtsprechung für sich allein keine Befangenheit begründet werden. Eine Ausstandspflicht besteht nicht schon dann, wenn sich ein Behördenmitglied vor oder ausserhalb eines Verwaltungsverfahrens eine Meinung gebildet und diese öffentlich vertreten hat. Wenn Departementsvorsteherin und Rechtsdienstleiter des SJD zur Frage, ob es für die Umteilung von Nothilfeempfängern an eine andere Gemeinde als derjenigen, die bisher Nothilfe ausgerichtet hat oder in welcher solche erstmals beantragt wurde, einer gesetzlichen Grundlage bedarf, eine andere Meinung vertreten als der Beschwerdeführer, vermag dies noch keine Befangenheit zu begründen. Zu einer offenbar auch politisch kontrovers diskutierten Rechtsfrage müssen sie sich äussern können, ohne dass deswegen bereits Befangenheit in einem Fall anzunehmen wäre, in welchem sich eben diese Frage konkret stellt. Überdies ist auch mit Blick auf die Vorbringen des Beschwerdeführers nicht erstellt, dass die von ihm als befangen bezeichneten Personen in Bezug auf die Zuteilung von Nothilfebezügern an die Gemeinden konsequent eine offensichtlich rechtswidrige Auffassung vertreten und bezüglich der gemeindeeigenen Zuweisungspraxis einen klaren Verstoss gegen das Legalitätsprinzip tolerieren oder gar fördern würden. Ein persönliches Interesse an der zu behandelnden Sache wird ihnen vom Beschwerdeführer nicht vorgeworfen und ist auch nicht ersichtlich. Insbesondere bestehen keine Hinweise, dass sie eine Abneigung gegenüber dem Beschwerdeführer oder gegenüber von Nothilfebezügern zum Ausdruck gebracht hätten.
4.3 Insgesamt erscheinen damit die Gewinnaussichten beträchtlich geringer als die Verlustgefahren. Damit hält der angefochtene Entscheid vor <ref-law> stand. Die Beschwerde ist infolgedessen abzuweisen.
5. Das Gesuch um aufschiebende Wirkung wird mit dem vorliegenden Entscheid gegenstandslos. Die Vorinstanz wird dem Beschwerdeführer eine neue Frist zur Begleichung des Kostenvorschusses einzuräumen haben (<ref-ruling> E. 9 S. 216).
6. Der Beschwerdeführer hat für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege ersucht. Aufgrund der dargestellten, schon im angefochtenen Entscheid zutreffend wiedergegebenen Sach- und Rechtslage besass das vorliegende Rechtsmittel keine ernsthaften Erfolgsaussichten; das Gesuch ist demzufolge abzuweisen (<ref-law>). Auf die Erhebung von Kosten wird indessen verzichtet (Art. 66 Abs. 1 zweiter Satz und <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege für das Verfahren vor Bundesgericht wird abgewiesen.
3. Es werden keine Kosten erhoben.
4. Dieses Urteil wird den Parteien und der Regierung des Kantons St. Gallen schriftlich mitgeteilt.
Luzern, 29. Juli 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Hofer