Sachverhalt:
A. Der iranische Staatsangehörige X._ (geb. 1983) reiste zusammen mit seinen Eltern und sechs Geschwistern am 13. Mai 2001 in die Schweiz ein. Mit Verfügung vom 4. Dezember 2002 lehnte das Bundesamt für Flüchtlinge (heute: Bundesamt für Migration) das Asylgesuch von X._ (sowie von fünf weiteren Brüdern) ab und verfügte deren Wegweisung; gleichzeitig wurde seinen Eltern sowie seinem minderjährigen Bruder Asyl gewährt. Die von X._ dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 21. Januar 2010 ab, worauf ihm eine neue Ausreisefrist bis zum 23. Februar 2010 gewährt wurde. Mehrere Gesuche um Sistierung des Wegweisungsvollzugs blieben erfolglos.
Am 28. April 2007 war Y._, Sohn der Schweizer Bürgerin A._ (geb. 1987), zur Welt gekommen. Mit Urteil vom 17. November 2009 hatte das Kreisgericht St. Gallen festgestellt, dass X._ der Vater von Y._ sei.
B. Mit Verfügung vom 11. Januar 2010 trat das Ausländeramt des Kantons St. Gallen auf ein Gesuch um Erteilung einer Härtefallbewilligung und am 4. März 2010 auf ein Gesuch um Erteilung einer Aufenthaltsbewilligung zur Vorbereitung der Heirat nicht ein. Am 12. April 2010 wies das Ausländeramt das von X._ am 19. März 2010 - gestützt auf die Beziehung zu seinem Sohn - eingereichte Gesuch um Erteilung einer Aufenthaltsbewilligung ab. Es führte im Wesentlichen aus, X._ habe zu berechtigten Klagen (u.a. Verurteilung zu bedingter Freiheitsstrafe von 22 Monaten) Anlass gegeben und es bestehe kein Anspruch auf Erteilung einer ausländerrechtlichen Bewilligung. Den von X._ und Y._ dagegen erhobenen Rekurs wies das Sicherheits- und Justizdepartement des Kantons St. Gallen mit Entscheid vom 9. August 2010 ab.
C. Hiergegen gelangten X._ und Y._ mit Beschwerde vom 30. August 2010 an das Verwaltungsgericht des Kantons St. Gallen. Mit Verfügung vom 13. Oktober 2010 wies der Präsident des Verwaltungsgerichts ihr Gesuch um unentgeltliche Rechtspflege und Verbeiständung wegen Aussichtslosigkeit der Beschwerde ab und forderte die Beschwerdeführer auf, bis 12. November 2010 einen Kostenvorschuss von Fr. 2'000.-- zu bezahlen, andernfalls das Verfahren abgeschrieben würde.
Mit Eingabe vom 12. November 2010 erheben X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde. Sie beantragen, die Verfügung vom 13. Oktober 2010 sei aufzuheben und den Beschwerdeführern im Verfahren betreffend Aufenthaltsbewilligung die unentgeltliche Rechtspflege und Verbeiständung zu gewähren; eventualiter sei die Angelegenheit zur erneuten Beurteilung an die Vorinstanz zurückzuweisen. Gerügt wird die Verletzung von kantonalem Recht sowie von Art. 29 Abs. 3 BV.
Das Verwaltungsgericht und das Sicherheits- und Justizdepartement des Kantons St. Gallen beantragen die Abweisung der Beschwerde. Das kantonale Ausländeramt hat sich nicht geäussert.
Erwägungen:
1. 1.1 Angefochten ist ein in einem hängigen kantonalen Verfahren ergangener kantonal letztinstanzlicher Entscheid über ein Gesuch um unentgeltliche Rechtspflege; hierbei handelt es sich um einen Zwischenentscheid, der in der Regel einen nicht wiedergutzumachenden Nachteil bewirkt (Art. 93 Abs. 1 lit. a BGG; BGE 129 I 129 E. 1.1 S. 131). Der Rechtsweg gegen solche folgt jenem in der Hauptsache (vgl. BGE 133 III 645 E. 2.2 S. 647 f.); die vorliegende Eingabe ist deshalb als Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) entgegenzunehmen, da der Beschwerdeführer 1 gestützt auf Art. 8 EMRK als Vater eines Schweizer Kindes einen (bedingten) Anspruch auf eine Aufenthaltsbewilligung geltend machen kann (so genannter "umgekehrter Familiennachzug"; vgl. BGE 135 I 143 E. 1.3.2 S. 146 mit Hinweisen).
1.2 Die Verfassungsbeschwerde ist im Verhältnis zur Beschwerde in öffentlich-rechtlichen Angelegenheiten subsidiär (Art. 113 BGG). Da hier die Letztere zur Verfügung steht, ist die von den Beschwerdeführern gleichzeitig erhobene Verfassungsbeschwerde nicht zulässig, weshalb darauf nicht eingetreten werden kann.
2. 2.1 Der Anspruch auf unentgeltliche Rechtspflege und Rechtsverbeiständung wird in erster Linie durch das kantonale Prozessrecht geregelt. Unabhängig davon besteht nach Art. 29 Abs. 3 BV ein Mindestanspruch der bedürftigen Partei auf unentgeltliche Rechtspflege in einem nicht aussichtslosen Prozess. Dieser Anspruch umfasst einerseits die Befreiung von den Verfahrenskosten und andererseits - soweit notwendig - das Recht auf einen unentgeltlichen Rechtsbeistand (BGE 122 I 8 E. 2a S. 9, 322 E. 2b S. 324; je mit Hinweisen). Das Bundesgericht prüft frei, ob der verfassungsmässige Anspruch gemäss Art. 29 Abs. 3 BV verletzt ist, während es die Auslegung und Anwendung des kantonalen Gesetzesrechts nur unter dem Gesichtswinkel der Willkür prüft (BGE 129 I 129 E. 2.1 S. 133 mit Hinweisen). Die angefochtene Verfügung stützt sich auf Art. 99 des Gesetzes [des Kantons St. Gallen] vom 16. Mai 1965 über die Verwaltungsrechtspflege (VRP/SG; sGS 951.1; in der bis Ende 2010 gültig gewesenen Fassung) in Verbindung mit Art. 281 des per Ende 2010 aufgehobenen Zivilprozessgesetzes [des Kantons St. Gallen] vom 20. Dezember 1990 (ZPO/SG; nGS 42-80). Sowohl nach dieser Vorschrift wie auch nach dem verfassungsrechtlichen Mindestanspruch (Art. 29 Abs. 3 BV) ist für die Gewährung der unentgeltlichen Rechtspflege bzw. für den Verzicht auf Kostenvorschuss erforderlich, dass das Rechtsmittel nicht aussichtslos erscheint. Aussichtslos ist ein Rechtsmittel, bei dem die Gewinnaussichten erheblich niedriger sind als die Verlustgefahr. Eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht auf Kosten des Gemeinwesens anstrengen können. Die Prozesschancen sind in vorläufiger und summarischer Prüfung des Prozessstoffes abzuschätzen. Ob ein Begehren aussichtslos erscheint, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt der Gesuchsstellung (BGE 133 III 614 E. 5 S. 616; 129 I 129 E. 2.3.1 S. 135 f.; je mit Hinweisen).
2.2 Wenn der Präsident des Verwaltungsgerichts vorliegend die Verlustgefahren als deutlich höher bewertete als die Erfolgschancen, ist dies nicht zu beanstanden:
2.2.1 Wie die Vorinstanz verbindlich festgestellt hat, handelt es sich beim Beschwerdeführer um einen abgewiesenen Asylbewerber, gegen den nach der Abweisung seines Asylgesuchs auch eine rechtskräftig angeordnete Wegweisung vorliegt. Gemäss Art. 14 Abs. 1 des Asylgesetzes vom 26. Juni 1998 (AsylG; SR 142.31) kann eine asylsuchende Person ab Einreichung des Asylgesuches bis zur Ausreise nach einer rechtskräftig angeordneten Wegweisung kein Verfahren um Erteilung einer ausländerrechtlichen Aufenthaltsbewilligung einleiten, ausser es bestehe ein Anspruch auf Erteilung.
Der Beschwerdeführer ist der Auffassung, Art. 8 EMRK bzw. Art. 13 BV (Recht auf Achtung des Privat- und Familienlebens) verschaffe ihm einen Anspruch auf Erteilung einer Aufenthaltsbewilligung.
2.2.2 Hat ein Ausländer nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz und wird die intakte familiäre Beziehung zu diesen tatsächlich gelebt, kann es zwar die entsprechenden Garantien verletzen, wenn ihm der Verbleib in der Schweiz untersagt und damit das Familienleben vereitelt wird (BGE 135 I 145 E. 1.3.1 S. 145 f.; 130 II 281 E. 3.1 S. 285; je mit Hinweisen). Einem nicht sorgeberechtigten Ausländer ist die Aufenthaltsbewilligung nach der bundesgerichtlichen Rechtsprechung jedoch nur dann zu erteilen oder zu erneuern, wenn in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung zum Kind besteht, diese wegen der Distanz zum Heimatland des Ausländers praktisch nicht mehr aufrechterhalten werden könnte und das bisherige Verhalten des Betroffenen in der Schweiz zu keinerlei Klagen Anlass gegeben hat ("tadelloses Verhalten", "comportement irréprochable", "comportamento irreprensibile"; BGE 120 Ib 1 E. 3c S. 5, 22 E. 4). Nur unter diesen Voraussetzungen kann das private Interesse am Verbleib im Land ausnahmsweise das öffentliche Interesse an einer einschränkenden Einwanderungspolitik bzw. am Schutz der öffentlichen Sicherheit und Ordnung im Rahmen von Art. 8 Ziff. 2 EMRK überwiegen (vgl. Urteil 2C_335/2009 vom 12. Februar 2010 E. 2.2.2 mit Hinweisen).
2.2.3 Der Beschwerdeführer legt nicht substantiiert dar, dass in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung zu seinem Sohn bestehen soll. Er führt dazu einzig aus, er kümmere sich regelmässig um das Kind und verbringe viel Zeit mit ihm, ohne dies näher zu belegen. Insbesondere wird in der Beschwerde nicht geltend gemacht, es liege hier ein Besuchsrecht vor, das über das übliche Mass hinausgehe und damit auf eine besondere Intensität der affektiven Beziehung hindeuten würde.
2.2.4 Die Vorinstanz hat im angefochtenen Entscheid zu Recht auf die wiederholte Straffälligkeit des Beschwerdeführers hingewiesen. Ins Gewicht fällt hier - neben drei Bussenverfügungen (Fr. 150.--/60.--/ 600.--) in den Jahren 2009/2010 - vor allem die Verurteilung durch das Kreisgericht St. Gallen vom 4. Februar 2010 wegen schwerer Widerhandlung gegen das Betäubungsmittelgesetz, Fahrens in fahrunfähigem Zustand und Fahrens trotz Entzugs des Führerausweises zu einer Freiheitsstrafe von 22 Monaten. Der Einwand des Beschwerdeführers, die Verurteilung vom 4. Februar 2010 sei noch nicht rechtskräftig und dürfe daher nicht berücksichtigt werden, überzeugt nicht: Selbst wenn der vom Beschwerdeführer erhobenen Berufung im beantragten Ausmass (Schuldspruch und angemessene Bestrafung wegen Fahrens in fahrunfähigem Zustand und Fahrens trotz Entzugs des Führerausweises zu einer Freiheitsstrafe) Erfolg beschieden sein sollte, bliebe es im Ergebnis dabei, dass sein Verhalten nicht erlaubt, ihm ein tadelloses Verhalten zu attestieren. Zudem hat der Beschwerdeführer in seiner Berufungs- und Beschwerdebegründung an das Kantonsgericht mindestens eingeräumt, Heroin konsumiert zu haben, was ebenfalls strafbar ist (Art. 19a BetmG [SR 812.121]). Weiter dürfen die gegenüber dem Beschwerdeführer erhobenen Vorwürfe ohne Verletzung der Unschuldsvermutung mitberücksichtigt werden, selbst wenn diese noch nicht zu einer (rechtskräftigen) Verurteilung geführt haben. Diesem Umstand darf im Rahmen der Prüfung der Deliktsprognose mit einer gewissen Zurückhaltung Rechnung getragen werden (Urteil 2C_845/2009 vom 17. August 2010 E. 5 mit Hinweisen).
2.3 Im Ergebnis verletzt es daher weder den grundrechtlichen Anspruch aus Art. 29 Abs. 3 BV noch bedeutet es eine willkürliche Auslegung von kantonalem Recht (Art. 99 VRP/SG i.V.m. Art. 281 ZPO/SG), wenn der Präsident des Verwaltungsgerichts das Gesuch um unentgeltliche Rechtspflege und Rechtsverbeiständung abgelehnt hat.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit abzuweisen. Da die Eingabe keine ernsthaften Aussichten auf Erfolg hatte, ist das Gesuch um unentgeltliche Rechtspflege und Verbeiständung abzuweisen (vgl. Art. 64 Abs. 1 und 2 BGG). Bei der Festsetzung der Höhe der Gerichtskosten wird der finanziellen Lage des Beschwerdeführers Rechnung getragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
4. Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer 1 auferlegt.
5. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Ausländeramt St. Gallen, dem Sicherheits- und Justizdepartement sowie dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 17. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Karlen Winiger