Erwägungen:
1. 1.1 Der aus Mazedonien stammende X._ (geb. 1986) reiste im November 1990 im Rahmen des Familiennachzugs in die Schweiz ein. Ihm wurde eine Aufenthaltsbewilligung erteilt. Doch kurze Zeit später kehrte er wieder in sein Herkunftsland zurück. Im Februar 2000 reiste er erneut im Rahmen des Familiennachzugs ein und erhielt die Niederlassungsbewilligung. Diese wurde am 9. August 2010 vom Ausländeramt des Kantons St. Gallen (seit 1. März 2011 Migrationsamt) widerrufen. Dagegen rekurrierte X._ erfolglos beim kantonalen Sicherheits- und Justizdepartement. Gegen dessen Entscheid vom 14. April 2011 gelangte er an das Verwaltungsgericht des Kantons St. Gallen. Dort beantragte er unter anderem die unentgeltliche Prozessführung und Verbeiständung. Dieses Gesuch wies der Präsident des Verwaltungsgerichts mit Verfügung vom 4. Mai 2011 ab und forderte X._ zur Leistung eines Kostenvorschusses von Fr. 2'500.-- innert angesetzter Frist auf; dabei wurde angedroht, das Verfahren bei unbenütztem Ablauf der Frist abzuschreiben.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Juni 2011 beantragt X._ dem Bundesgericht, die letztgenannte Verfügung aufzuheben und ihm für das Verfahren beim Verwaltungsgericht die unentgeltliche Prozessführung und Verbeiständung zu gewähren.
Das kantonale Sicherheits- und Justizdepartement sowie das Verwaltungsgericht haben auf eine Antragstellung bzw. Vernehmlassung verzichtet und im Übrigen auf die vorangegangenen Entscheide verwiesen. Das kantonale Migrationsamt liess sich nicht vernehmen. Mit Eingabe vom 25. Juli 2011 hielt X._ an seinen Anträgen fest.
1.3 Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 5. Juli 2011 antragsgemäss die aufschiebende Wirkung hinsichtlich der Verpflichtung zur Leistung eines Kostenvorschusses im Verfahren vor dem Verwaltungsgericht zuerkannt.
2. Gegen den gemäss Art. 45 und 100 BGG rechtzeitig angefochtenen Akt, der einen Zwischenentscheid darstellt, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, da insoweit kein Rechtsmittel im Kanton zur Verfügung steht (vgl. Art. 86 Abs. 1 lit. d BGG), ein nicht wieder gutzumachender Nachteil droht (vgl. Art. 93 Abs. 1 BGG; <ref-ruling> E. 1.2 S. 403; <ref-ruling> E. 2b S. 202 mit Hinweisen) und das gleiche Rechtsmittel auch in der Hauptsache statthaft wäre (zum Grundsatz der Einheit des Prozesses: <ref-ruling> E. 1.3 S. 195; in Bezug auf die Ausschlussgründe des Art. 83 lit. c BGG: <ref-ruling> E. 1.2.1 S. 4).
3. 3.1 Der Beschwerdeführer macht eine Verletzung des Rechts auf unentgeltliche Rechtspflege im Sinne von Art. 29 Abs. 3 BV geltend. Das Verwaltungsgericht verweigerte ihm diese wegen Aussichtslosigkeit seines Rechtsbegehrens. Der Beschwerdeführer bestreitet diese Annahme. Rechtsbegehren sind aussichtslos, wenn deren Gewinnaussichten zur Zeit der Verfahrenseinleitung betrachtet deutlich geringer sind als die Verlustgefahren. Entscheidend ist, ob eine nicht bedürftige Partei sich vernünftigerweise zu einem Prozess entschliessen würde (vgl. <ref-ruling> E. 2.3.1 S. 135 f.; <ref-ruling> E. 7.1 S. 2). Dabei ist auf die Hauptstreitsache Bezug zu nehmen.
3.2 Nach Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. b AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer zu einer längerfristigen Freiheitsstrafe, d.h. zu einer solchen von mehr als einem Jahr (<ref-ruling> E. 4.2 S. 381), verurteilt wurde. Das trifft vorliegend zu. Der Beschwerdeführer wurde vom Obergericht des Kantons Zürich mit Berufungsurteil vom 27. April 2009 rechtskräftig zu einer Freiheitsstrafe von dreieinhalb Jahren unter anderem wegen mehrfachen Raubes verurteilt. Der Widerruf der Niederlassungsbewilligung ist allerdings nur zulässig, wenn sich dieser aufgrund einer umfassenden Interessenabwägung als zulässig erweist. Diese hat das kantonale Departement in seinem Entscheid vom 14. April 2011 vorgenommen. Der Beschwerdeführer hält sich seit rund elf Jahren in der Schweiz auf. Er lebte aber die ersten knapp vierzehn Jahre in seinem Herkunftsland und verkehrte auch noch in der Schweiz mit Landsleuten. Es handelt sich bei ihm nicht um einen sog. Ausländer der zweiten Generation. Angesichts seines Alters und Gesundheitszustands ist er auch nicht auf seine in der Schweiz wohnhaften Eltern angewiesen, welche ihn im Übrigen nicht vom wiederholten Delinquieren abhalten konnten. Wie die Vorinstanz mithin richtig bemerkt, hat der ledige und kinderlose Beschwerdeführer keinen familiären Anspruch auf Aufenthalt (vgl. zudem zu Art. 8 EMRK: <ref-ruling> E. 3 S. 285 ff.; <ref-ruling> E. 2b und c S. 382 ff.; je mit Hinweisen). Gemäss dem erwähnten Strafurteil des Obergerichts hatte er seine Raubopfer, durchwegs ältere Personen, massiv bedroht und durch eine Waffe eingeschüchtert. Er hatte auch physische Gewalt gegen sie angewendet und auf deren teilweisen Widerstand mit erhöhter Gewalt reagiert. Unabhängig davon, ob und in welchem Masse eine Rückfallgefahr besteht (vgl. dazu allg. <ref-ruling> E. 4 S. 19 ff.; <ref-ruling> E. 3 S. 179 ff.; je mit Hinweisen), durfte die Vorinstanz dem Dargelegten zufolge davon ausgehen, dass das öffentliche Interesse an der Fernhaltung des Beschwerdeführers sein privates Interesse an einem Verbleib eindeutig überwiegt und sein Rechtsmittel daher aussichtslos ist. Das stimmt mit der bundesgerichtlichen Praxis überein. Demzufolge ist die Verweigerung der unentgeltlichen Rechtspflege nicht zu beanstanden. Sofern der Beschwerdeführer in diesem Zusammenhang vor Bundesgericht eine willkürliche Feststellung des Sachverhalts und eine Verletzung des rechtlichen Gehörs geltend macht, ist auf seine Rüge mangels Substantiierung nicht weiter einzugehen (vgl. Art. 42 Abs. 2, 97 und 106 Abs. 2 BGG; <ref-ruling> E. 1.4 S. 254 f.; <ref-ruling> E. 3.4 S. 60 f.).
3.3 Der Beschwerdeführer beruft sich ebenfalls auf die Rechtsweggarantie nach Art. 29a BV. Er macht insoweit geltend, die Abhängigmachung der gerichtlichen Überprüfung von der Leistung eines Kostenvorschusses sei prohibitiv und verwehre ihm den effektiven Zugang zum Gericht.
Nach Art. 96 Abs. 1 des St. Galler Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege (sGS 951.1) kann eine Behörde einen Kostenvorschuss verlangen. Abgesehen von der Rüge der prohibitiven Wirkung macht der Beschwerdeführer nicht geltend, die Vorinstanz habe diesbezüglich kantonales Recht willkürlich angewendet. Ausserdem entspricht der geforderte Kostenvorschuss von Fr. 2'500.-- in etwa - wie sich aus anderen, beim Bundesgericht behandelten Fällen des Kantons St. Gallen ergibt - der Höhe der Entscheidgebühr. Insofern erscheint der Kostenvorschuss nicht als zu hoch. Zwar befindet sich der Beschwerdeführer seit Juli 2008 in Untersuchungshaft bzw. seit Juli 2009 im vorzeitigen Massnahmevollzug, weshalb er über kein Einkommen verfügt. Er ist demnach nicht in demselben Masse leistungsfähig wie ein gewöhnlich Erwerbstätiger. Im Rekursverfahren beim Departement war ihm noch infolge Bedürftigkeit die unentgeltliche Rechtspflege gewährt worden. Mit der Kostenerhebung sollen aber einerseits dem Staat entstandene Kosten ersetzt, anderseits aussichtslose und ungerechtfertigte Verfahren möglichst verhindert werden (vgl. <ref-ruling> E. 2.4 S. 523). Demnach erscheint der Kostenvorschuss von Fr. 2'500.-- mit der Androhung, bei dessen Nichtleistung auf die Beschwerde nicht einzutreten, mit Blick auf die konkrete Situation eher hoch, doch handelt es sich angesichts der voraussichtlichen Höhe der Entscheidgebühr nicht um einen prohibitiv hohen, offensichtlich unhaltbaren und damit willkürlichen Kostenvorschuss.
4. Demzufolge erweist sich die Beschwerde als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG abzuweisen ist. Diesem Ausgang entsprechend hätte der Beschwerdeführer die Kosten des Verfahrens beim Bundesgericht zu tragen. Mit Blick auf seine Einkommens- und Vermögensverhältnisse wird hier jedoch ausnahmsweise auf deren Erhebung verzichtet (vgl. Art. 65 BGG), womit das auch für das bundesgerichtliche Verfahren gestellte Gesuch um unentgeltliche Prozessführung gegenstandslos wird. Wegen Aussichtslosigkeit der beim Bundesgericht eingereichten Beschwerde ist allerdings das Gesuch um unentgeltliche Verbeiständung abzuweisen (vgl. Art. 64 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Das Gesuch um unentgeltliche Prozessführung und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 23. August 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz