Faits: A. X._ réside en Suisse de manière illégale depuis 2009. Une procédure pénale a été introduite à son encontre et il a été mis en détention préventive. En 2011, l'Office cantonal genevois de la population (ci-après l'Office cantonal) a prononcé son renvoi de Suisse avec effet au 20 mai 2011. Le 26 mai 2011, X._ a été mis au bénéfice de l'assistance judiciaire afin de lui permettre de recourir contre la décision précitée. Par jugement du 24 avril 2012, le Tribunal administratif de première instance du canton de Genève (ci-après le Tribunal de première instance) a rejeté le recours formé par X._, au motif que l'intéressé résidait en Suisse au mépris des prescriptions légales relatives à la police des étrangers depuis janvier 2009. Il a également été retenu que celui-ci ne pouvait invoquer de lien de paternité, n'ayant pas reconnu la fille dont il prétendait être le géniteur; en outre, il n'avait aucun motif de regroupement familial. Enfin, ce jugement précisait que la Procureure en charge de la procédure pénale avait indiqué que le recourant devrait être jugé en automne 2012. B. Le 15 mai 2012, X._ a demandé une extension de l'assistance judiciaire, afin de pouvoir recourir auprès de la Chambre administrative de la Cour de justice du canton de Genève contre le jugement du 24 avril 2012. La Vice-présidente du Tribunal civil a rejeté cette requête le 23 mai 2012, car le recours envisagé semblait avoir de faibles chances de succès. Demandant une audition à titre préalable, X._ a formé un recours contre cette décision auprès de la Cour de justice, qui, par l'entremise de son Vice-président ad interim, a rejeté celui-ci par décision du 2 août 2012. C. Contre la décision du 2 août 2012, X._ interjette un recours constitutionnel subsidiaire auprès de Tribunal fédéral. Il conclut à l'annulation de la décision attaquée et à ce qu'il soit mis au bénéfice de l'assistance judiciaire complète pour la procédure de recours contre le jugement du Tribunal de première instance du 24 avril 2012; subsidiairement, il demande que le dossier soit retourné à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire pour la procédure fédérale. La Cour de justice déclare persister dans sa décision. L'Office de la population renonce à formuler des observations, à l'instar de la Vice-Présidente du Tribunal civil.