Faits:
A. Par jugement de divorce du 17 octobre 1996, le Tribunal de première instance de Genève a notamment attribué à la mère, dame B.X._, l'autorité parentale et la garde sur les enfants C.X.._, né le 5 avril 1991, et D.X.._, née le 11 juin 1993, et condamné le père, A.X._, à verser à chacun de ses enfants une contribution d'entretien de 500 fr. par mois jusqu'à l'âge de quinze ans et de 600 fr. jusqu'à la majorité et au-delà en cas d'études sérieuses et suivies, mais au maximum jusqu'à vingt-cinq ans.
En 2001, le père s'est remarié avec E.Y._; de cette union est issu l'enfant F.Y._, né le 11 août 2003. Par arrêt du 20 avril 2007, la Cour de justice du canton de Genève, statuant sur mesures protectrices de l'union conjugale, a notamment condamné le père à payer à E.Y._, à titre de contribution à l'entretien de la famille, par mois et d'avance, allocations familiales non comprises, la somme de 1'500 fr. dès le 16 mai 2006.
B. Le 26 juin 2008, A.X._ a sollicité l'assistance juridique civile complète pour introduire une action en divorce sur demande unilatérale.
Par décision du 30 juin 2008, le Vice-président du Tribunal de première instance de Genève a rejeté cette requête pour le motif qu'il était à même d'assumer par ses propres moyens les frais de la procédure et les honoraires d'avocat.
Par arrêt du 28 juillet 2008, le Vice-président de la Cour de justice du canton de Genève a confirmé cette décision. Il a considéré qu'il n'était pas établi que le requérant payait effectivement les contributions dues pour son épouse et son fils F.Y._ ainsi que pour sa fille D.X._, de sorte qu'il n'avait pas démontré son indigence.
C. A.X._ forme un recours en matière civile et un recours constitutionnel subsidiaire contre cet arrêt, dont il demande la réforme en ce sens que l'assistance judiciaire lui est octroyée pour entreprendre une procédure en divorce. Il sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'autorité intimée se réfère aux considérants de sa décision.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 134 III 115 consid. 1 p. 117 et les arrêts cités).
1.1 Le refus de l'assistance judiciaire est une décision incidente susceptible de causer un dommage irréparable (art. 93 al. 1 let. a LTF; ATF 129 I 129 consid. 1.1 p. 131). La voie du recours contre une telle décision est déterminée par le litige principal. En l'espèce, la décision attaquée, prise par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), se rapporte à une procédure de divorce, c'est-à-dire à une affaire civile non pécuniaire. Le recourant a qualité pour recourir, car il a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de la décision attaquée (art. 76 al. 1 LTF). Dès lors, le recours en matière civile, qui a pour le surplus été déposé dans le délai (art. 100 al. 1 LTF) et la forme requise (art. 42 LTF), est en principe recevable.
Comme le recours en matière civile est ouvert, le recours constitutionnel subsidiaire ne l'est pas (art. 113 LTF).
1.2 Le recourant produit de nouvelles pièces. Selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le recourant doit exposer dans quelle mesure les conditions nécessaires à une présentation ultérieure de moyens de preuve sont remplies (ATF 133 III 393 c. 3 p. 395 et la jurisprudence citée). En l'espèce, il n'avance pas le début d'une justification à "l'administration de nova". Partant, les pièces nouvellement produites à l'appui du recours sont irrecevables.
2. Le recours en matière civile peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), qui comprend les droits constitutionnels (ATF 133 III 446 consid. 3.1, 462 consid. 2.3 p. 466).
Saisi d'un recours en matière civile, le Tribunal fédéral applique d'office le droit (art. 106 al. 1 LTF). Toutefois, si le recourant se plaint de la violation de droits fondamentaux ou de dispositions de droit cantonal, il doit, comme sous l'empire de l'art. 90 al. 1 let. b OJ, satisfaire au principe d'allégation (ATF 133 IV 286 consid. 1.4 p. 287), à savoir indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. Le Tribunal fédéral n'examine en effet de tels griefs que s'ils ont été invoqués et motivés (art. 106 al. 2 LTF), c'est-à-dire expressément soulevés et exposés de façon claire et détaillée. Il n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 III 585 consid. 4.1 p. 588, 589 consid. 2 p. 591, 638 [n° 87] consid. 2 et les arrêts cités).
Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer, par une argumentation précise, que cette décision est manifestement insoutenable. Il ne suffit pas qu'une solution différente apparaisse concevable, voire préférable (ATF 133 III 462 c. 4.4.1 p. 470 et les arrêts cités); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Quant à l'appréciation des preuves et à la constatation des faits, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière aux autorités cantonales (ATF 120 Ia 31 consid. 4b p. 40; 104 Ia 381 consid. 9 p. 399 et les arrêts cités). Il n'intervient, du chef de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables; encore faut-il que la décision attaquée en soit viciée dans son résultat (ATF 129 I 8 consid. 2.1 p. 9; 127 I 38 consid. 2a p. 41 et la jurisprudence citée).
3. Le recourant reproche à l'autorité précédente d'avoir établi les faits de manière arbitraire en retenant qu'il ne s'était acquitté qu'à deux reprises de la pension alimentaire due pour l'entretien de E.Y._ et de l'enfant F.Y._, et à deux reprises aussi de la contribution due à l'enfant D.X._.
Selon les pièces dont disposait l'autorité intimée au moment de rendre la décision attaquée, le recourant s'est acquitté, en mains du Service cantonal d'avance et de recouvrement des pensions alimentaires, du montant de 1'500 fr., les 27 mars 2008 et 29 avril 2008, et deux fois de celui de 548 fr., les 29 mai 2008 et 26 juin 2008. Au vu de ces éléments, l'autorité cantonale n'a pas omis de tenir compte de preuves pertinentes, mais s'en est tenue aux éléments prouvés; elle ne pouvait pas déduire des versements établis par pièces que le recourant avait pour le surplus régulièrement payé les pensions et contributions mises à sa charge. Il n'y a donc pas d'appréciation arbitraire des preuves.
Le recourant soutient que l'autorité précédente a, de façon contradictoire, admis qu'il versait la contribution due à l'enfant C.X._ alors qu'elle disposait à ce sujet d'éléments semblables à ceux concernant les versements faits pour son épouse et son fils F.Y._, ainsi que pour l'enfant D.X._. En réalité, la décision attaquée ne retient pas que le recourant aurait régulièrement payé la contribution pour l'enfant C.X._ alors que tel n'aurait pas été le cas pour les autres contributions; elle prend seulement en compte, dans les charges incompressibles du recourant, le montant de 548 fr. versé pour cet enfant en juin et en juillet 2008, en considérant ces paiements, vu leur date, comme la preuve de l'intention de verser régulièrement à l'avenir la contribution due pour cet enfant. Ainsi, l'appréciation n'a pas porté sur l'existence de paiements autres que ceux qui ont été prouvés, mais sur la volonté du recourant de verser cette contribution à l'avenir. En conséquence, le grief d'appréciation arbitraire des preuves n'est pas fondé.
4. Le recourant reproche également à l'autorité précédente de ne pas avoir procédé d'office à une enquête et de ne pas l'avoir invité à produire des justificatifs du paiement des contributions mises à sa charge.
Ce grief peut être compris comme celui de déni de justice formel. Le recourant n'indique toutefois pas de façon claire et détaillée quelle disposition constitutionnelle ou légale aurait été violée. A défaut de motivation précise exposant en quoi consiste la violation, ce grief n'est pas recevable (cf. supra, consid. 2).
5. Le recourant se plaint enfin, de façon toute générale, d'une violation de son droit à l'assistance judiciaire découlant de l'art. 29 al. 3 Cst.
Il se borne toutefois à déclarer qu'il souhaite entreprendre une procédure de divorce, qu'il est incapable de le faire sans l'assistance d'un avocat, mais que, compte tenu de la précarité de sa situation financière, il ne peut rémunérer un défenseur. Cette motivation est insuffisante au regard des exigences posées par la jurisprudence pour les griefs ayant trait à la violation des droits fondamentaux (cf. supra, consid. 2). Partant, ce grief est irrecevable.
6. Vu ce qui précède, le recours constitutionnel subsidiaire est irrecevable et le recours en matière civile mal fondé dans la mesure où il est recevable.
Comme les conclusions du recourant étaient vouées à l'échec, l'assistance judiciaire pour la procédure devant le Tribunal fédéral doit être refusée (art. 64 al. 1 LTF). Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est en revanche pas alloué de dépens, la partie intimée étant une autorité (art. 68 al. 3 LTF), qui a de surcroît renoncé à déposer une réponse.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. La requête d'assistance judiciaire est rejetée.
4. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au recourant et au Vice-président de la Cour de justice du canton de Genève.
Lausanne, le 16 septembre 2008
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Raselli Aguet