Sachverhalt: A. Der angolanische Staatsangehörige L._ (geb. 1961), dessen Asylgesuch mit Nichteintretensentscheid abgewiesen wurde, bezieht seit November 2009 wirtschaftliche Nothilfe. Diese wurde von der Gemeinde X._ ausgerichtet, bevor am 5. Juli 2010 eine Umteilung an das Sozialamt von Y._ erfolgte. Auf das von L._ bei der Sozialhilfe- und Vormundschaftsbehörde X._ eingereichte Gesuch um Nothilfe trat diese mit Verfügung vom 2. November 2010 nicht ein und überwies dieses zuständigkeitshalber an das Sozialamt Y._. Den Rekurs vom 6. November 2010, mit welchem L._ die fehlende Rechtsgrundlage für eine Umteilung nach Y._ rügte, wies der Gemeinderat X._ am 3. Dezember 2010 mit der Begründung ab, es bestehe kein Anspruch, die Nothilfe im Sinne von Art. 12 BV in einer bestimmten Gemeinde zu erhalten, solange die praktische Erhältlichmachung nicht erschwert werde; die damit gegenstandslos gewordene Rechtsverweigerungsbeschwerde schrieb er ab. B. B.a Gegen diesen Entscheid rekurrierte L._ am 20. Dezember 2010 beim Sicherheits- und Justizdepartement des Kantons St. Gallen (nachfolgend: SJD). Am 18. Januar 2011 stellte er zudem das Begehren, die Vorsteherin des SJD und dessen Leiter Rechtsdienst hätten wegen Befangenheit in den Ausstand zu treten, da diese es zu vertreten hätten, dass keine gesetzliche Grundlage dafür bestehe, dass Nothilfesuchende an eine andere Gemeinde verwiesen werden könnten, wenn dies zur Erreichung einer gleichmässigen Belastung nötig erscheine. Sie seien befangen, wenn sie nun feststellen müssten, dass diese Gesetzesgrundlage aufgrund eigener Versäumnisse fehle. Das SJD überwies die Akten dem Gesundheitsdepartement zur weiteren Behandlung und beantragte Abweisung des Ausstandsbegehrens. Mit Entscheid vom 29. März 2011 wies die Regierung des Kantons St. Gallen das Ausstandsbegehren ab. B.b Dagegen erhob L._ beim Verwaltungsgericht des Kantons St. Gallen Beschwerde. Im Weiteren ersuchte er um unentgeltliche Rechtspflege. Mit verfahrensleitender Verfügung vom 16. Mai 2011 wies der Vizepräsident des Verwaltungsgerichts des Kantons St. Gallen das Gesuch um unentgeltliche Rechtspflege infolge Aussichtslosigkeit der Beschwerde ab und forderte L._ auf, einen Kostenvorschuss von Fr. 500.- zu bezahlen. C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, die vorinstanzliche Verfügung sei aufzuheben und das Gesuch um unentgeltliche Rechtspflege vor dem kantonalen Verwaltungsgericht sei gutzuheissen; eventuell sei die Vorinstanz anzuweisen, das Begehren um unentgeltliche Rechtspflege erneut zu beurteilen. Weiter sei aufschiebende Wirkung betreffend Kostenvorschusszahlung für das Verfahren vor dem Verwaltungsgericht des Kantons St. Gallen anzuordnen. Gleichzeitig wird um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ersucht. Mit Eingabe vom 9. Juni 2011 reichte L._ einen Nachtrag zur Beschwerdeschrift vom 5. Juni 2011 ein. Es wurde kein Schriftenwechsel durchgeführt.