Faits:
A. X._ réside en Suisse de manière illégale depuis 2009. Une procédure pénale a été introduite à son encontre et il a été mis en détention préventive.
En 2011, l'Office cantonal genevois de la population (ci-après l'Office cantonal) a prononcé son renvoi de Suisse avec effet au 20 mai 2011. Le 26 mai 2011, X._ a été mis au bénéfice de l'assistance judiciaire afin de lui permettre de recourir contre la décision précitée.
Par jugement du 24 avril 2012, le Tribunal administratif de première instance du canton de Genève (ci-après le Tribunal de première instance) a rejeté le recours formé par X._, au motif que l'intéressé résidait en Suisse au mépris des prescriptions légales relatives à la police des étrangers depuis janvier 2009. Il a également été retenu que celui-ci ne pouvait invoquer de lien de paternité, n'ayant pas reconnu la fille dont il prétendait être le géniteur; en outre, il n'avait aucun motif de regroupement familial. Enfin, ce jugement précisait que la Procureure en charge de la procédure pénale avait indiqué que le recourant devrait être jugé en automne 2012.
B. Le 15 mai 2012, X._ a demandé une extension de l'assistance judiciaire, afin de pouvoir recourir auprès de la Chambre administrative de la Cour de justice du canton de Genève contre le jugement du 24 avril 2012.
La Vice-présidente du Tribunal civil a rejeté cette requête le 23 mai 2012, car le recours envisagé semblait avoir de faibles chances de succès.
Demandant une audition à titre préalable, X._ a formé un recours contre cette décision auprès de la Cour de justice, qui, par l'entremise de son Vice-président ad interim, a rejeté celui-ci par décision du 2 août 2012.
C. Contre la décision du 2 août 2012, X._ interjette un recours constitutionnel subsidiaire auprès de Tribunal fédéral. Il conclut à l'annulation de la décision attaquée et à ce qu'il soit mis au bénéfice de l'assistance judiciaire complète pour la procédure de recours contre le jugement du Tribunal de première instance du 24 avril 2012; subsidiairement, il demande que le dossier soit retourné à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire pour la procédure fédérale.
La Cour de justice déclare persister dans sa décision. L'Office de la population renonce à formuler des observations, à l'instar de la Vice-Présidente du Tribunal civil.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et avec une pleine cognition la recevabilité des recours qui lui sont soumis (cf. <ref-ruling> consid. 1 p. 103).
1.1 Le refus de l'assistance judiciaire constitue une décision incidente susceptible de causer un préjudice irréparable au sens de l'<ref-law> (cf. <ref-ruling> consid. 4 p. 338 s.; <ref-ruling> consid. 1.1 p. 131), de sorte qu'une telle décision peut faire l'objet d'un recours immédiat au Tribunal fédéral (cf. <ref-law>; arrêt 2C_443/2012 du 27 novembre 2012 consid. 1.1).
1.2 La voie de recours contre une telle décision est déterminée par le litige principal (cf. <ref-ruling> consid. 1.2 p. 269; <ref-ruling> consid. 1.4 p. 264). En l'occurrence, le recourant a demandé l'assistance judiciaire en relation avec une procédure de renvoi prononcée à son encontre par les autorités cantonales en matière de droit des étrangers en application de l'art. 64 LEtr. Cette procédure tombant sous le coup de l'exception de l'art. 83 let. c ch. 4 LTF, seule la voie du recours constitutionnel subsidiaire est envisageable (cf. arrêt 2D_6/2012 du 31 juillet 2012 consid. 1.2). C'est donc à juste titre qu'un tel recours a été formé en l'espèce (cf. <ref-law>).
1.3 Interjeté en temps utile (art. 117 et 100 al. 1 LTF) et dans les formes prévues par la loi (<ref-law>) par la partie qui, se voyant refuser le bénéfice de l'assistance judiciaire, dispose d'un intérêt juridique à recourir (<ref-law>), le recours est en principe recevable, dès lors que la décision entreprise émane d'une autorité judiciaire cantonale supérieure statuant en dernière instance (art. 114 et 86 al. 1 let. d et al. 2 LTF).
1.4 Il convient donc d'entrer en matière étant précisé que seule la violation des droits constitutionnels peut être examinée par la voie du recours constitutionnel subsidiaire (<ref-law>) et que le Tribunal fédéral ne se saisit, dans ce cadre, que des griefs soulevés et motivés de façon suffisamment précise par le recourant (art. 106 al. 2 et 117 LTF).
2. Dans un premier grief, le recourant se plaint d'une application arbitraire de l'art. 10 al. 3 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (LPA/GE; RS-GE E 5 10). Il soutient que la Cour de justice ne pouvait refuser de donner suite à sa requête tendant à être entendu, au motif que son audition n'était pas utile.
2.1 La procédure principale est de nature administrative, de sorte que l'assistance judiciaire est régie par la LPA/GE. Selon l'art. 10 al. 3 LPA/GE, en cas de refus ou de retrait de l'assistance juridique, la personne qui l'a sollicitée peut recourir par écrit dans les 30 jours dès la notification de la décision auprès du président de la Cour de justice. En règle générale, le recourant est entendu. Cette disposition est entrée en vigueur le 1er janvier 2011. Dans un arrêt récent, le Tribunal fédéral a considéré que la jurisprudence rendue sous l'ancien droit, à savoir sous l'empire de l'art. 143A al. 3 de l'ancienne loi genevoise sur l'organisation judiciaire du 22 novembre 1941 (aLOJ/GE), qui avait la même teneur que l'art. 10 al. 3 LPA/GE, demeurait applicable. Il en découle que, saisi d'un recours portant sur l'assistance juridique en matière administrative, l'audition du recourant est la règle. Le président de la Cour de justice peut toutefois s'en écarter, à condition qu'il explique les motifs qui justifient exceptionnellement de renoncer à l'audition requise (cf. arrêt 2D_6/2012 du 31 juillet 2012 consid. 3.4 et 3.5).
2.2 En l'espèce, il ressort de la décision attaquée que le Vice-président de la Cour de justice a renoncé à l'audition demandée par le recourant au motif qu'il était en possession d'éléments de fait suffisants et que, procédant à une appréciation anticipée des preuves, il avait la conviction que l'audition demandée ne pourrait pas l'amener à modifier son opinion, de sorte que celle-ci n'apparaissait pas utile. On ne se trouve donc pas dans une situation similaire à la cause 2D_6/2012 précitée, dans laquelle l'autorité de recours n'avait pas donné suite à la requête d'audition formée par le requérant, sans donner aucune explication. Contrairement à ce que soutient le recourant, la décision attaquée contient une motivation qui permet de comprendre pourquoi le vice-président de la Cour de justice, s'écartant de la règle générale, a renoncé à entendre l'intéressé. Il n'apparaît pas, dans ce contexte, que l'on puisse retenir une application arbitraire de l'art. 10 al. 3 LPA/GE (sur la notion d'arbitraire, cf. <ref-ruling> consid. 7.1 p. 51 et les arrêts cités).
Au surplus, le recourant soutient qu'une justification tirée de l'appréciation anticipée des preuves ne suffirait pas à refuser son audition. Il n'invoque toutefois la violation d'aucun droit constitutionnel en relation avec cette critique, de sorte qu'il n'y a pas lieu de s'interroger sur le bien-fondé de la motivation figurant dans la décision entreprise (cf. <ref-law>).
Partant, les critiques liées au refus de l'audition du recourant doivent être rejetées, dans la mesure où elles sont recevables.
3. En second lieu et à titre subsidiaire, le recourant invoque une violation de l'art. 29 al. 3 Cst., reprochant en substance à la Cour cantonale d'avoir considéré à tort que son recours paraissait dénué de chances de succès.
3.1 Aux termes de l'art. 29 al. 3 Cst., toute personne qui ne dispose pas de ressources suffisantes a droit, à moins que sa cause paraisse dépourvue de toute chance de succès, à l'assistance judiciaire gratuite. D'après la jurisprudence, un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre, et qu'elles ne peuvent donc être considérées comme sérieuses, de sorte qu'une personne raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'elle s'exposerait à devoir supporter; il ne l'est pas non plus lorsque les chances de succès et les risques d'échec s'équilibrent à peu près, ou que les premières ne sont que légèrement inférieures aux secondes. L'élément déterminant réside dans le fait que l'indigent ne doit pas se lancer, parce qu'il plaide aux frais de la collectivité, dans des démarches vaines qu'une personne raisonnable n'entreprendrait pas si, disposant de moyens suffisants, elle devait les financer de ses propres deniers (cf. <ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 2.2 p. 133 ss).
3.2 Le recourant estime tout d'abord que Cour de justice ne pouvait considérer que son grief portant sur la violation du droit de répliquer commise par le Tribunal de première instance était d'emblée infondé.
Il ressort de la décision entreprise que le Tribunal de première instance, avant de se prononcer, le 24 avril 2012, sur la décision de renvoi du recourant, s'était renseigné auprès du Ministère public au sujet de l'avancement de la procédure pénale dont il faisait l'objet, sans en informer l'intéressé. Tout en reconnaissant, à juste titre du reste (cf. <ref-ruling> consid. 2.3.2 et 2.3.3 p. 156 s. et les arrêts cités), que le recourant aurait eu le droit de se prononcer à ce sujet, la Cour de justice a considéré que ces informations n'avaient à l'évidence joué aucun rôle dans la confirmation du renvoi du recourant prononcée le 24 avril 2012, de sorte qu'une personne raisonnable, qui disposerait des ressources financières nécessaires, n'engagerait pas de frais pour répliquer sur les indications fournies par la Procureure en charge de la procédure pénale.
Le droit de répliquer a un caractère formel et, devant une autorité judiciaire, il doit pouvoir être exercé quelle que soit la pertinence des éléments pris en compte (cf. <ref-ruling> consid. 2.3.3 p. 157 et les arrêts cités). Toutefois, la violation de l'art. 29 Cst. qui en découle n'aurait pas permis au recourant d'obtenir l'annulation du jugement du 24 avril 2012. En effet, selon la jurisprudence, la violation du droit d'être entendu est réparée lorsque le recourant a la possibilité de s'exprimer devant une autorité de recours jouissant d'une pleine cognition (cf. <ref-ruling> consid. 2.2 p. 204; <ref-ruling> consid. 4 p. 120 s.), de sorte qu'il n'en résulte aucun préjudice pour le justiciable (cf. <ref-ruling> consid. 5.1.2 p. 177 a contrario). Or, la procédure administrative genevoise prévoit que le recours à la Cour de justice a un effet dévolutif complet et que celle-ci dispose d'un libre pouvoir d'examen en fait et en droit (cf. art. 61 et 66 ss LPA/GE; arrêt 2D_25/2012 du 6 novembre 2012 consid. 3.2.2). Le recourant aurait ainsi pu, dans la procédure de recours, se prononcer sur les informations fournies par le Ministère public et n'aurait donc subi aucun préjudice, de sorte que la violation de son droit de répliquer survenue en première instance aurait selon toute vraisemblance été considérée comme guérie et n'aurait pas abouti à une modification du jugement du 24 avril 2012.
Au demeurant, en dépit du caractère formel du droit de répliquer, on ne peut reprocher à l'autorité inférieure, chargée de statuer sur le bien-fondé d'une demande d'assistance judiciaire, de s'être demandée si l'élément sur lequel le recourant n'avait pas pu se prononcer était de nature à modifier le résultat de la décision entreprise. En effet, lorsqu'une autorité est chargée d'examiner si un justiciable peut obtenir l'assistance judiciaire en vue de déposer un recours, il est déterminant de savoir quelles sont ses chances de succès sur le fond. Il ne s'agit pas de permettre au requérant d'obtenir l'assistance judiciaire en vue de prolonger artificiellement la procédure en invoquant des griefs purement formels, alors que l'on voit d'emblée que ceux-ci, même fondés, ne sont pas de nature à influer sur le fond de la cause. En l'occurrence, les informations relatives à l'état d'avancement de la procédure pénale dirigée contre le recourant et transmises au Tribunal de première instance sans que l'intéressé n'en soit informé étaient sans pertinence pour trancher l'affaire au fond, le renvoi du recourant reposant sur des éléments indépendants de la procédure pénale en cours. Dans un tel contexte, on ne peut reprocher à l'autorité attaquée d'avoir violé l'art. 29 al. 3 Cst. en refusant de mettre le recourant au bénéfice de l'assistance judiciaire en raison de l'absence de chances de succès sur le fond de son grief tiré d'une violation du droit de répliquer.
3.3 Le recourant estime ensuite que son grief tiré de la violation de l'art. 8 CEDH était fondé, et qu'en considérant que tel n'était pas le cas au motif qu'il n'aurait ni allégué ni démontré avoir reconnu sa fille, l'arrêt attaqué se serait prononcé librement sur le fond, méconnaissant l'art. 29 al. 3 Cst.
Pour s'opposer à son renvoi sur la base de l'art. 8 CEDH, le recourant devait démontrer qu'il avait un enfant mineur et que, n'en ayant pas la garde, il entretenait avec celui-ci des relations étroites (cf. <ref-ruling> consid. 1d p. 3; arrêt 2C_395/2012 du 9 juillet 2012 consid. 2.1). Selon les constatations cantonales, le recourant n'aurait ni allégué ni démontré avoir reconnu la fille dont il prétend être le père. Le recourant non seulement perd de vue que cette constatation figure également dans le jugement du 24 avril 2012, mais surtout ne prétend pas que celle-ci serait arbitraire ou manifestement inexacte (cf. art. 106 al. 2 et 105 al. 2 LTF; <ref-ruling> consid. 5.2.2 p. 322), de sorte qu'elle lie le Tribunal fédéral. Partant, on ne voit pas pourquoi les juges, statuant sur l'assistance judiciaire, n'auraient pas pu se fonder sur cet élément pertinent de fond pour déterminer si le recours avait des chances de succès sous l'angle de l'art. 8 CEDH. En considérant que tel n'était pas le cas en l'absence de lien de filiation avéré, le Vice-président de la Cour de justice n'a par conséquent pas violé l'art. 29 al. 3 Cst.
4. Dans ces circonstances, le recours ne peut qu'être rejeté, dans la mesure où il est recevable.
Il ressort de ce qui précède que le recours auprès du Tribunal fédéral était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (cf. <ref-law>).
Les frais judiciaires seront donc mis à la charge du recourant (<ref-law>). Ils seront toutefois fixés en tenant compte de sa situation financière. Aucun dépens ne sera alloué (art. 68 al. 2 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à CHF 1'000.-, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population du canton de Genève, à la Vice-présidente du Tribunal civil, Assistance juridique, et au Vice-président de la Cour de justice du canton de Genève, Assistance juridique.
Lausanne, le 12 décembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti